为 什么 要 写 这 本 书 


















































Docker 自 2013 年 诞生 以 来 ， 在 短 短 几 年 就 迅速 引爆 IT 技术 圈 ， 全 球 各 大 知名 IT 企业 也 纷纷 加入。Docker 社 区 的 火爆 程度 也 是 前 所 未 有 ， 周 边 的 技术 案例 、 平 台 工具 也 是 层出不穷 ， 其 中 也 不 乏 一 线 IT 公 
司 的 身影 ， 比 如 Google、 微 软 、Red Hat、VMware 等 ， 放 了 眼 国内 ， 基 于 Docker 技 术 的 创业 公司 也 如 雨后春笋 ， 国 内 互联 网 公司 的 代表 BAT 也 开始 尝试 在 企业 内 部 运用 落地 。 在 这 样 的 大 背景 下 ， 大 家 对 掌 
握 及 运用 Docker 技 术 的 欲望 也 越 来 越 强 烈 。 因 此 ， 四 位 笔者 走 到 了 一 起 ， 开 始 谋划 这 本 书籍 。 
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笔者 都 来 自 腾讯 不 同事 业 群 及 中 心 ， 都 有 针对 各 自 不 同 应 用 场景 做 Docker 技 术 研 究 及 应 用 的 实践 经 验 ， 在 研究 的 过 程 中 ， 大 家 也 将 自己 的 研究 历程 、 成 果 做 了 聚合 ， 最 终 形成 了 本 书 的 初稿 ， 包 括 读者 
比较 关心 的 Docker 网 络 及 存储 、 日 常 运营 到 源码 探索 ， 循 序 渐进 的 内 容 组 织 结构 ， 可 以 让 不 同 水 平 层次 的 读者 均 能 有 效 地 阅读 和 吸收 。 
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本 书 的 初衷 是 将 研究 、 使 用 Docker 过 程 中 可 能 碰 到 的 问题 ， 以 及 解决 的 方法 与 思路 做 个 自我 梳理 与 总 结 ， 同 时 与 大 家 分 享 。 最 终 目的 是 让 每 位 关注 Docker 技 术 的 人 受益 。 
































读者 对 象 
. 系统 架构 师 、 运 维 人 员 
“ 运营 开发 、DevOps 人 员 
“ 云 计算 工程 师 
“ 系统 管理 员 或 企业 网 管 


“ 高 等 院 校 计算 机 专业 的 学 生 与 教师 


如 何 阅读 本 书 





本 书 分 为 四 部 分 : 














第 一 部 分 为 基础 篇 ， 包 括 第 1 至 第 4 章 ， 介 绍 Docker 的 基础 知识 及 原理 ， 介 绍 Docker 是 什么 ， 可 以 做 什么 ， 以 及 如 何 使 用 Docker 技 术 ， 包 括 了 安装 、 创 建 容器 与 镜像 、 运 行 等 。 














第 二 部 分 为 高 级 篇 ， 包 括 第 5 至 11 章 ， 着 重 讲解 如 何 实现 容器 管理 、 镜 像 管理 、 仓 库 管 理 、 网 络 和 存储 管理 及 项 目 日 常 维护 ， 又 补充 了 最 新 版 本 Docker Swarm 容器 集群 和 Docker 插 件 开发 等 内 容 。 





第 三 部 分 为 案例 篇 ， 包 括 第 12 至 第 15 章 ， 通 过 对 3 个 不 同 编排 技术 实现 的 Docker 服 务 案例 讲解 ， 让 读者 了 解 一 个 完整 的 平台 的 搭建 。 























第 四 部 分 为 源码 探索 篇 ， 为 第 16 章 ， 介 绍 了 Docker 的 源码 结构 和 如 何 修改 和 编译 Docker， 为 读者 更 深入 学 习 研 究 Docker 提 供 一 种 新 思路 。 



































其 中 第 三 部 分 以 接近 实战 的 实例 来 讲解 ， 相 比 于 前 两 部 分 更 独立 。 如 果 你 是 一 名 经 验 丰 富 的 Linux 管 理 员 上 且 具有 Docker 基 础 ， 可 以 直接 切入 高 级 篇 ; 但 如 果 你 是 一 名 初学 者 ， 请 一 定 从 Docker 的 基础 理 
论 知识 开始 学 习 ; 如 果 你 对 Docker 的 源码 分 解 比较 感 兴趣 ， 可 以 直接 阅读 第 16 章 。 












































勘误 和 支持 





由 于 水 平 有 限 ， 且 编写 时 间 仓 促 ， 书 中 难免 会 出 现 一 些 错误 或 者 不 准确 的 地 方 ， 妨 请 读者 批评 指正 。 为 此 ， 特 意 创建 一 个 在 线 支 持 与 应 急 方案 问答 站 点 http://qa.liuts.com。 你 可 以 将 书 中 的 错误 发 布 
到 “错误 反馈 ”分 类 中 ， 同 时 如 果 你 遇 到 任何 问题 或 有 任何 建议 ， 也 可 以 访问 问答 站 点 进行 发 表 ， 我 将 尽量 在 线 上 为 读者 提供 最 满意 的 解答 。 我 也 会 将 相应 的 功能 更 新 及 时 更 正 出 来 。 如 果 你 有 更 多 的 宝贵 
见 ， 欢 迎 加 入 “循序 渐进 学 Docker” 读 者 QQ 群 (QQ 群 账号 559435845 或 者 扫描 以 下 二 维 码 ) ， 期 待 能 够 得 到 你 们 的 真挚 反馈 。 
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首先 要 感谢 dotCloud 公 司 ， 是 他 们 创立 了 Docker 这 个 容器 引擎 ， 同 时 也 要 感谢 为 Docker 整 个 生态 圈 贡 献 大 量 周边 组 件 的 所 有 作者 ， 是 你 们 让 Docker 技 术 发 展 得 越 来 越 好 ， 开 源 的 精神 与 力量 在 你 们 身 
上 体现 得 淋漓 尽 致 。 















































感谢 王 冬 生 兄 贡献 他 在 工作 中 的 案例 (Docker 离 线 系统 应 用 案例 ) ， 内 容 具 有 非常 高 的 实用 价值 ， 感 谢 公司 各 位 领导 及 同事 ， 感 谢 本 书 的 所 有 作者 ， 在 大 家 的 努力 下 终于 促成 了 这 本 书 的 合作 与 出 版 。 



































感谢 机 械 工业 出 版 社 华章 公司 的 编辑 杨 福 川 、 姜 影 者 师 ， 在 这 一 年 多 的 时 间 中 始终 支持 我 的 写作 ， 你 的 鼓励 和 帮助 引导 我 能 顺利 完成 全 部 书稿 。 





' 第 1 章 ”全面 认 识 Docker 


' 第 2 章 ”初步 体验 Docker 


“第 3 章 Ubuntu 下 使 用 Docker 


"第 4 章 ”Docket 的 基础 知识 


第 1 章 “全面 认识 Docker 


欢迎 来 到 Docker 的 世界 。 











Docker，Golang 社 区 杀手 级 的 应 























Docker， 号 称 要 成 为 所 有 云 应 








的 基石 ， 并 把 互联 网 升级 到 





开发 、 测 试 、 运 维 人 员 看 到 Docker， 都 激动 地 说 : 


中 下 一 代 。 


“ 太 好 了 ， 这 正 是 我 所 需要 的 !“ 


Docker 是 什么 ， 能 解决 什么 问题 ， 为 什么 这 么 火 ? 本 章 将 一 一 道 来 。 


1.1 Docker 是 什么 





首先 ,我们 了 解 下 Docker 产 生 的 历史 背景 和 当前 发 


1.1.1 Docker 的 由 来 


， 是 Github 上 最 活跃 的 项 目 之 一 ， 也 是 开源 社区 最 受 欢迎 的 项 目 。 











Docker 是 dotCloud 公 司 开 源 的 一 款 产品 。 
境 已 经 预先 配置 好 了 ， 开 发 者 只 需要 选择 
和 数据 库 ， 可 以 让 开发 者 随心 所 欲 地 选择 
上 ， 它 的 应 

















自己 需要 的 编程 语言 、 



































2013 年 ，dotCloud 的 CEO Solomon Hykes 决 定 把 dotCloud 内 部 使 用 的 Container 容 器 技术 单独 拿 出 来 开源 。2013 年 3 月 发 布 Docker 的 V0.1 版 本 ， 并 





月 ，Docker 已 经 足够 火爆 ， 并 广 受 好 评 ， 各 种 各 样 的 技术 论坛 和 


dotCloud 公 司 是 2010 稀 
肛 务 类 型 、 上 传代 码 就 可 对 外 
数据 库 和 编程 框架 ， 而 且 它 的 设置 3 
可 以 运行 在 各 种 类 型 的 云 服务 上 。 两 三 年 下 来 ， 虽 然 DotCloud 也 在 业界 获得 不 错 的 口碑 ， 但 由 








展 情况 ， 通 过 和 一 些 熟悉 的 事物 做 类 比 ， 让 大 家 对 Docker 有 一 个 初步 认识 和 了 解 。 


F 新 成 立 的 一 家 公司 ， 主 要 基于 PaaS (Platform as a Service， 平 台 即 服务 ) 平台 为 开发 者 提供 服务 。 在 Paas 平 台 下 ， 所 有 的 服务 环 

















F 常 简单 ， 每 次 编码 























肛 务 ， 不 需要 花费 大 量 的 时 间 搭 建 服务 和 配置 环境 。dotCloud 的 PaaS 平 台 已 经 做 得 足够 好 了 ， 它 支持 几 5 
后 只 需要 运行 一 条 命令 就 能 把 整个 网 站 部 署 上 去 ;并 且 利 
于 整个 PaaS 市 场 还 处 于 培育 阶段 ，dotCloud 公 司 表 现 得 不 温 不 火 ， 没 有 出 现 爆 发 性 的 增长 。 


0 技术 峰会 都 开始 热烈 讨论 与 推荐 Docker， 这 时 Docker 才 只 发 布 到 V0.6 版 本 。 




















随 着 Docker 的 流行 ， 越 来 越 多 的 优秀 开发 者 加 入 Docker 社 


REHL/Centos 当 时 最 新 版 6 系列 还 是 基于 Liunux2.6.32 内 核 ， 无 法 运行 Docker。 为 了 让 REHL/Centos 尽 快 支持 Docker，RedHat 公 司 的 工程 师 亲 
也 让 Docker 在 REHL/Centos 运 行 起 来 。 





devicemapper 的 支持 来 实现 文件 系统 分 层 ， 终 于 顺利 





随 着 Docker 在 业界 的 知名 度 越 来 越 高 ， 到 了 2013 年 10 月 ，dotCloud 公 司 索性 更 名 为 Docker 股 份 有 限 公司 ， 工 作 的 重 





区 参加 开发 。 








宣布 完成 15? 000 万 美元 的 融资 ， 雅 虎 联合 创始 人 杨 致 远 也 参与 跟 投 。 


虽然 Docker 迟 迟 没有 发 布 1.0 版 ， 但 好 多 公司 已 纷纷 把 Docker 应 


























考虑 如 何 进一步 提高 软件 生产 效率 ， 让 软件 开发 更 加 安全 和 创新 。 这 科 











干 呼 万 唤 ， 到 了 2014 年 6 月 9 


























Docker 联 手 ， 把 容器 技术 打造 为 所 有 云 应 





的 基石 。” 














Google 自 2004 年 就 开始 使 




















转变 太 不 可 思议 了 !“ 


，Docker 终 于 发 布 了 V1.0 版 ， 并 举办 了 DockerCon2014 大 会 ， 大 会 上 来 
加 入 Docker 的 阵营 。Docker 的 CTO Solomon Hykes 充 满 奴 心 壮志 地 说 : “我 们 能 把 互联 网 升级 到 下 一 代 ! ” Google 的 基础 架构 部 副 总 裁 Eric Brewer 也 附和 道 : 


容器 技术 ， 目 前 他 们 每 周 要 启动 超过 20 亿 个 容器 ， 每 秒 钟 新 
Google 对 Docker 的 支持 力度 非常 大 ， 不 仅 把 Imctfy 先 进 之 处 融入 Docker 中 ， 还 把 




















2014 年 8 月 ， 不 缺 钱 的 Docker 再 次 融资 ， 融 资 超 4 干 万 美元 ， 估 值 达到 4 人 2 美元 。 





到 生产 环境 。 其 中 ， 美 国 奢 饰 品 电 商 Gi 





t 的 CTO 说 : 


























“使 


这 里 值得 一 提 的 是 ，Docker 是 基于 Linux3.8 以 上 内 核 ， 在 aufs 分 


FE 所 有 主流 的 Web 编 程 语言 
多 层次 平台 的 概念 ， 理 论 












































基本 保持 每 月 一 个 版 本 的 迭代 速度 ， 到 了 8 














层 文件 系统 下 构建 的 ， 主 要 运行 在 Ubuntu 的 系统 下 。 








量 心 也 从 PaaS 平 台 业 务 转 


出 马 ， 加 班 加 点 为 Docker 贡 献 代码 ， 新 增 对 


























绕 Docker 来 开发 。 到 了 2014 年 1 月 ，Docker 公 司 





口 全 呵 册 | 


























Docker 以 后 ， 突 然 之 间 ， 传 统 方式 中 的 各 种 问题 都 消失 了 ， 我 们 接 下 来 要 


Google、IBM、RedHat、Rackspace 等 公司 的 核心 人 物 均 发 表 了 主题 演讲 ， 纷 纷 表示 支持 并 





“容器 技术 曾 是 Google 的 基础 ， 我 们 和 





所 有 的 云 计算 大 公司 ， 如 Azure、Google 和 亚马逊 等 都 在 支持 Docker 技 术 ， 这 实际 上 也 让 Docker 成 为 云 计 算 领 域 的 一 大 重要 组 成 部 分 。 








2014 年 10 月 15 
日 ，Amazon 发 布 支持 Docker 的 产品 AWS Container Service。 
的 事实 上 的 标准 。 














2014 年 12 月 ，Docker 发 布 了 Docker 集 群 管理 工具 Machine 和 Swarm， 标 志 着 Docker: 





2015 年 4 月 ，Docker 公 司 宣布 完成 了 9500 万 美元 


2015 年 10 月 ，Docker 收 购 Tutum，Tutum 本 身 已 经 实现 对 亚马逊 网 络 服务 (AWS) 、Digital Ocean、 微 软 的 Azure 等 3 














支持 


H 




















2016 年 1 月 ，Docker 官 方 计划 全 | 


截至 2016 年 3 月 ，Docker 在 Github 上 收获 29962 个 关注 (star) 、8437 个 拷贝 (Fork) ， 在 Github 所 有 项 目 中 排 第 7 位 ， 在 云 平台 管理 领域 排名 第 一 ， 远 远 超 Openstack 项 





贝 。 


1.1.2 ”Docker 为 什么 这 么 火 


身 的 Alpine Linux, 使 


，Azure 副 总 裁 Jjason Zander 宣 布 了 微软 与 Docker 的 合作 伙伴 关系 ; 2014 重 











此 ， 几 个 重 




















的 D 轮 融资 。 























始 突破 一 个 标准 的 容器 框架 ， 打 造 


它 构建 的 基础 镜像 最 小 只 有 5M。 











Docker 从 诞生 到 现在 ， 短 短 两 年 时 间 ， 已 经 成 为 开源 社区 最 火爆 的 项 














， 风 头 已 经 远 远 盖 过 了 近 生 











其 实 、 众 望 所 归 呢 ? 


要 














随 着 计算 机 近 几 十 年 的 莲 堵 发 





"操作 系统 ， 如 REHL/Centos、Debian/Unbuntu、FreeBSD、 


“ 编程 语言 ， 如 Java、C/C++、Python、Ruby、Golang 等 。 


回答 这 个 问题 ， 首 先 看 看 当前 我 们 所 处 的 环境 和 面临 的 问题 。 


展 ， 产 生 了 大 量 优秀 系统 和 软件 。 比 如 : 


OpenSuse 等 。 








属于 Docker| 


启动 的 容器 就 超过 3000 个 ， 在 容器 技术 方面 有 大 量 的 积累 。 曾 相继 
己 的 容器 管理 系统 (kubernetes) 也 开源 出 来 。 

















源 了 Cgroup 和 Imctfy 这 两 个 重量 级 项 目 。 


FE11 月 5 日 ，Google 发 布 支持 Docker 的 产品 DockerGoogle Container Engine; 2014 年 11 月 13 
的 云 计算 大 公司 都 已 经 支持 Docker 技 术 ， 这 不 仅 让 Docker 成 为 云 计算 领域 的 一 个 重要 级 成 员 ， 也 让 Docker 成 为 云 应 用 部 署 























E 流 云 服务 商 的 良好 支持 。 








的 1316 个 关注 、768 个 拷 














FE 来 很 流行 的 Puppet 和 OpenStack。 那 么 Docker 的 火爆 到 底 是 一 种 炒作 、 一 种 跟风 ， 还 是 它 确实 名 副 


: Web 服务 器 ， 如 Apache、Nginx、Lighttpd 等 。 


“ 数据 库 ， 如 Mysqld、Redis、Mongodb 等 。 


现在 的 软件 开发 人 员 真是 幸运 ， 可 以 在 这 么 多 种 类 中 自由 选择 。 


自由 选择 的 结果 是 ， 维 护 一 个 非常 





庞大 的 开发 、 测 试 和 生产 环境 ， 开 发 、 测 试 和 运 维 人 员 都 被 种 类 繁多 的 环境 折腾 








收缩 战线 ， 每 种 类 型 的 软件 只 选择 一 两 种 来 支持 。 许 多 优秀 的 开发 框架 和 软件 尽管 有 不 少 优秀 特性 ， 但 因为 维护 麻烦 ， 


即便 每 种 类 型 的 软件 只 选择 一 两 种 来 支持 ， 随 着 操作 系统 和 软件 版 本 的 更 新 迭代 ， 维 护 工作 还 是 变 得 越 来 越 庞大 。 











面 对 这 种 情况 ， 业 界 大 牛 群策群力 ， 给 出 了 很 多 解决 方案 ， 比 较 有 代表 的 是 Puppet 和 OpenStack。 


“ Puppet 是 集中 的 配置 管理 系统 ， 它 把 文件 、 用 户 、cron 任 务 、 软 件 包 、 系 统 服 务 等 抽象 为 资源 ， 并 通过 自 有 的 语 


量 部 署 相 同 服务 的 应 用 场景 。 








便 没 有 了 





武之 地 。 








言 描述 资源 间 的 依赖 关系 ， 集 中 管理 各 类 资源 的 安装 配置 。Puppet 主 要 适用 于 需要 大 批 


号 


“ OpenStack 是 开源 的 云 计算 管理 平台 项 目 ， 可 以 帮助 企业 内 部 实现 类 似 于 Amazon EC2 的 云 基 础 架构 服务 。 虽 然 灵 活 ， 但 组 件 繁多 、 构 建 复杂 ， 比 较 适 合 中 大 型 企业 使 用 。 


Puppet 和 OpenStack 虽 然 比较 流行 ， 但 适应 的 场景 有 限 ， 不 





























备 通 上 




















员 ， 让 大 家 可 以 随心 所 欲 地 使 

















这 只 是 Docker 的 一 个 应 




















深 陷 到 环境 配置 中 。 














场景 而 已 ，Docker 还 能 干 更 多 的 事 | 





作为 计算 机 的 从 业 人 员 ， 下 面 场景 你 或 许 碰 到 过 。 





性 。 正 当 大 家 在 众多 方案 中 左右 为 难 时 ，Docker 出 现 了 ， 它 作为 一 个 开源 的 应 
环境 到 一 个 可 移植 的 容器 中 ， 然 后 发 布 到 任何 运行 有 Docker 引 警 的 机 器 上 。 它 集 版 本 控制 、 克 隆 继承 、 环 境 隔离 等 特性 于 一 身 ， 提 出 一 整套 软件 构建 、 部 署 和 维护 的 解决 方案 ， 可 以 非常 方便 地 帮 有 
软件 而 又 不 




















容器 引擎， 让 开发 者 可 以 打包 他 们 的 应 


得 筋疲力尽 ， 不 得 不 














及 依赖 
开发 人 








“ 小 A 是 一 名 资深 码 农 ， 作 为 新 招聘 实习 生 的 导师 ， 小 A 要 给 实习 生 的 开发 机 装 一 套 和 自己 开发 机 一 样 的 运行 环境 ， 不 仅 要 安装 Nginx、Java、Mysqld 和 一 些 依 赖 库 等 ， 还 要 修改 相关 的 配置 文件 。 结 果 花 
了 一 天 时 间 ， 小 A 也 没 把 实习 生 的 开发 环境 搞定 ， 在 徒弟 面前 颜面 尽 失 ， 乾 坎 不 已 。 


“ 小 B 是 一 名 QA 测试 工程 师 ， 他 按 开发 给 的 文档 、 部 署 的 服务 ,测试 出 一 大 堆 问题 ， 通 过 和 开发 的 沟通 ， 发 现 是 开发 和 测试 环境 不 一 致 引起 的 。 


“ 小 C 作 为 一 名 业务 运 维 工 程 师 ， 同 时 维护 开发 、 测 试 、 生 产 三 套 环 境 ， 经 常 在 不 同 环境 下 装 相同 的 包 ， 做 大 量 重复 工作 。 


“小 DD 同时 在 为 三 个 项 目 开发 功能 模块 ， 他 要 不 停 地 修改 他 的 开发 环境 为 适应 在 三 个 项 目 间 开发 、 联 调 测试 。 


“ 小 巨 发 现 服务 器 被 入 侵 过 ， 他 想 知道 什么 文件 被 自 改 过 。 


“ 小 F 从 离职 同事 那里 接手 一 个 系统 ， 文 档 不 全 ， 突 然 一 台 机 器 硬件 故障 ， 他 不 知道 该 如 何 重新 部 署 这 个 应 用 。 


: 小 G 新 上 线 一 个 游戏 ， 游 戏 火 爆 超 预期 ， 需 要 紧急 扩容 ， 花 了 一 两 个 小 时 才 完 成 扩容 ， 期 间 用 户 体验 很 卡 ， 流 失 不 少 潜在 用 户 。 


: 小 H 和 人 小 I 共 同 维护 一 套 系 统 ， 分 工 轮流 值 夜班 ， 但 一 出 现 突 发 故障 ， 排 查 问题 时 ， 即 便 半 夜 ， 还 需要 把 对 方 叫 醒 ， 确 认 下 对 方 在 前 一 天 有 没有 变更 过 什么 配置 。 


“ 小 M 的 一 个 机 房 要 裁撤 了 ， 该 机 房 的 数 千 个 应 用 都 要 迁移 到 其 他 机 房 ， 小 M 觉 得 这 项 工作 非常 庞大 ， 半 年 时 间 











但 是 如 果 使 














Docker， 这 些 根 本 不 


Docker 的 解决 方案 简单 、 灵 活 、 高 效 ， 还 很 直 


觉 ，Docker 的 火爆 也 就 不 难 理解 了 。 


1.1.3 ”Docker 究 况 是 什么 


























按照 官方 的 说 法 ，Docker 是 一 个 开源 的 应 


那 我 们 就 从 最 熟悉 的 事物 说 起 吧 ， 但 凡 从 如 


























先 说 Java， 在 Java 之 前 的 编程 语言 ， 
键 。Java 虚 拟 机 屏蔽 了 与 具 
节 码 解释 成 具体 平台 上 的 机 


























器 指令 执行 。 


软件 部 署 也 依赖 平台 ，Ubuntu 的 软件 包 在 Centos 下 可 能 就 运行 不 起 来 。 和 Java 庶 拟 机 类 似 ，Docker 使 用 容器 引擎 解决 平台 依赖 问题 ， 它 在 每 台 宿 3 














蔽 了 与 具体 平台 相关 的 信息 ， 对 上 














像 C/C+ +， 是 严重 依赖 平台 的 ， 在 不 同 平台 下 ， 需 
体 平台 相关 的 信息 ， 使 得 Java 语 言 编译 程序 只 需 生成 可 以 在 Java 虚 拟 





提供 统一 的 接口 








屋 应 


Java 曾 提出 “Write Once，Run Anywhere”， 而 Docker 则 提出 了 “Build once，Run anywhere，Configure once，Run anything”。 昌 然 ，Java 和 Docker 是 为 了 解决 不 同 领域 的 








移植 方面 却 面临 相同 的 问题 ， 使 

















的 解决 方式 也 相似 。 


事 儿 ， 分 分 钟 就 能 搞定 。 


观 ， 甚 至 不 需要 过 多 地 改变 现 有 的 使 





























习惯 ， 就 可 以 和 已 有 的 工具 ， 











容器 引擎 。 很 多 人 觉得 这 个 说 法 太 抽象 ， 不 容易 理解 。 


有 过 计算 机 相关 行业 的 人 ， 对 Java、Android 和 Github 都 很 熟悉 。 














Docker 化 的 应 














重新 编译 才能 运行 。Java 的 一 个 非常 


都 未 必 能 完成 。 











如 Puppet、Openstack 等 配合 使 














机 上 都 启动 一 个 Docker 的 守护 进程 ， 守 护 进 程 屏 
， 就 可 以 在 多 个 平台 下 运行 ，Docker 会 针对 不 同 的 平台 ， 解 析 给 不 同 平台 下 的 执行 驱动 、 存 储 驱动 和 网 络 驱动 去 执行 。 


。 各 种 优势 让 Docker 脱 颖 而 出 ， 有 准 立 鸡 群 的 感 


要 的 特性 就 是 与 平台 无 关 性 ， 而 使 用 java 虚拟 机 是 实现 这 一 特性 的 关 
机 上 运行 的 目标 代码 ( 字 节 码 ) ， 就 可 以 在 多 种 平台 上 不 加 修改 地 运行 。Java 虚 拟 机 在 执行 字 节 码 时 ， 把 字 














问题 ， 但 在 平台 





提起 Android， 大 家 想到 什么 ” 它 是 一 个 开源 的 手机 操作 系统 ， 也 是 一 个 生态 圈 ， 它 的 App 应 用 以 apk 形 式 打包 、 发 布 ， 可 以 运行 在 任何 厂商 的 Android 手 机 上 。 它 还 有 一 个 官方 的 安 卓 市 场 ， 提 供 各 种 





各 样 的 App， 我 们 需要 某 个 Appl 








如 果 把 软件 部 署 的 应 








Dorc 


使 

















第 三 方 的 镜像 仓库 。 








最 后 ， 再 谈 谈 Github。 它 主要 








村， 就 从 安 卓 f 











看 作 Android 的 App，Docker 简 直 和 Android 一 模 一 样 ，Docker 是 一 个 : 
er 引擎 的 操作 系统 上 。 它 有 一 个 官方 的 镜像 仓库 ， 提 供 各 种 各 样 的 应 





和 6 场 上 搜索 下 载 ， 手 机 
























































， 当 需要 某 个 应 






































使 





Docker 后 ， 软 件 部 署 的 应 


也 可 以 




















通过 和 Java、Android、Github 


的 对 比 ， 大 家 对 Docker 应 该 有 了 比较 直观 的 认识 ，Docker 
对 应 镜像 的 一 个 版 本 ， 制 作 好 的 镜像 可 以 发 布 到 镜像 仓库 ， 分 享 给 别人 ; 也 可 以 直接 从 镜像 仓库 下 载 别人 制作 好 的 应 


备 类 似 Github 的 版 本 控制 功能 ， 对 应 有 

















发 者 也 可 以 编写 一 些 App， 发 布 到 安 卓 市 场 ， 提 供给 别人 使 


时 ， 就 从 官方 的 仓库 搜索 并 下 载 ， 个 人 开发 者 也 可 以 提交 镜像 到 官方 仓库 ， 分 享 给 别人 使 


做 一 些 修改 ， 提 交 新 版 本 ， 运 行 环境 可 以 在 多 个 版 本 间 快 速 切换 ， 














，Android 也 允许 在 第 三 方 的 安 卓 市 场 上 下 载 或 上 传 应 用 。 











源 的 容器 引擎 ， 也 有 自己 的 生态 图 ， 它 的 应 用 以 镜像 (image) 的 形式 发 布 ， 可 以 运行 在 任何 装 有 

















。Docker 也 允许 











来 做 版 本 控制 ， 不 仅 可 以 比较 两 个 版 本 的 差异 ， 还 可 以 基于 某 些 历史 版 本 创建 新 的 分 支 。 








由 选择 使 用 哪个 版 本 对 外 提供 






































来 管理 软件 部 署 的 应 











肛 务 。 





















































，Docker 把 应 用 打包 成 一 个 镜像 ， 镜 像 带 有 版 本 控制 功能 ， 应 | 
， 不 做 任何 修改 ， 即 可 运行 起 来 。 











的 每 次 修改 迭代 就 


1.2 ”Docker 的 结构 与 特性 


通过 上 一 小 节 的 介绍 ， 大 家 对 Docker 有 一 个 初步 的 了 解 。 这 一 节 ， 再 来 聊 一 下 Docker 的 组 织 结构 。 


1.2.1 ”Docker 构 成 




















如 果 把 Docker 当 作 一 个 独立 的 软件 来 看 ， 它 就 是 











如 果 把 Docker 看 作 一 个 生态 的 话 ， 它 主要 由 两 部 分 组 成 : Docker 仓 库 和 Docker 自 身 程序 。 拿 iPhone 做 类 比 的 话 ，Docker 仓 库 相 当 于 iPhone 的 Appstore (应 用 商店 ) ，Docker 相 当 于 iPhone 的 iOS 


手机 操作 系统 。 


1.Docker 仓 库 








官方 Docker 仓 库 地 址 为 https://hub.docker.com， 上 面 的 应 F 








Golang 写 的 开源 程序 ， 采 


非常 丰富 ， 既 有 各 大 公司 打包 的 应 上 





























C/S 架 构 ， 包 含 Docker Server 和 Docker Client， 源 代码 托管 在 https://github.com/docker/docker 上 。 











， 也 有 大 量 个 人 开发 者 提供 的 应 


























车 redis Ubuntu 


WR management system 


MuyUSQL: 





NGiMX 


High performance reverse 
Proxy server 


Relational database 


Popular open-source relational database 














The Official Ubuntu base image 


由 mongoDB 


Document-oriented NoSQL 
database 


， 如 图 1-1 所 示 。 


(WworpPrrss 


WordPress is a free and 
open source blogging tool 
and a content management 
system 








请 CentOS 


Official CentOS base image 











Nedees 


management system 





2.Docker 自 身 程序 














Docker 本 身 是 一 个 单机 版 的 程序 ， 它 运行 在 Linux 操 作 系统 之 上 ， 








1-1 Docker 官 方 仓库 截图 

















属于 用 户 态 程序 ， 通 过 一 些 接口 和 内 核 交 互 。 它 在 机 器 上 的 位 置 如 


哆 | 








1-2 所 示 。 








Node.js is a platform for scalable 
server-side and networking 
applications 





Docker 






systemd- 








libvirt 
nspawn 





Linux 







Coroups namespaces netlink 


selinux netfilter 


capabilities 





apparmor 














1-2 ” Docker 在 Linux 系 统 的 位 置 











由 于 Docker 需 要 用 到 Linux 的 cgroups、namespaces 等 特性 ， 所 以 目前 只 能 运行 在 Linux 环 境 下 ， 当 然 ， 通 过 虚拟 机 ， 也 可 以 在 Windows 和 Mac 上 使 用 Docker。 








Docker 是 一 个 C/S 的 架构 ， 它 的 Docker Daemon 作 为 Server 端 ， 在 宿主 机 上 以 后 台 守 护 进 程 的 形式 运行 。Docker Client 使 用 比较 灵活 ， 既 可 以 在 本 机 上 以 bin 命 令 的 形式 (如 Docker info、Docker 
start) 发 送 指令 ， 也 可 以 在 远 端 通过 RESTful API 的 形式 发 送 指令 ;Docker 的 Server 端 接收 指令 并 把 指令 分 解 为 一 系列 任务 去 执行 。 











3. 工 作 流程 








我 们 知道 了 Docker 的 构成 ， 那 么 该 如 何 使 用 Docker 呢 ? 














首先 ， 要 在 Linux 服 务 器 上 安装 Docker 软 件 包 ， 并 启动 Docker Daemon 守 护 进程 。 然 后 ， 就 可 以 通过 Docker Client 端 发 送 各 种 指令 ，Docker Daemon 守 护 进程 执行 完 指令 ， 向 Client 端 返回 结果 。 














假如 要 启动 一 个 新 的 Docker 应 用 app1 (名 字 是 随便 起 的 ) ， 它 的 工作 流程 大 致 如 图 1-3 所 示 。 























1) Docker Client 向 Daemon 发 送 启动 app1 指 令 。 





2) 因为 我 们 的 Linux 服 务 器 只 装 有 Docker 软 件 包 ， 根 本 没有 app1 相 关 软 件 或 服务 ，Docker Daemon 就 发 请 求 给 Docker 的 官方 仓库 ， 在 仓库 中 搜索 app1。 











Wu 


如 果 找到 app1 这 个 应 用 ， 就 把 它 下 载 到 我 们 的 服务 器 上 。 























4) Docker Daemon 启 动 app1 这 个 应 用 。 

















w 


把 启动 app1 应 用 是 否 成 功 的 结果 返回 给 Docker Client。 























3. 下 载 应 用 









2. 搜索 应 用 


4. 启动 应 用 






docker pUll xx . 发 送 启动 指令 
站 < 一 


docker stop Xx 





操作 系统 : Ubuntu/Ceontos 


人 硬件: 宿主 机 


Actor 








图 1-3 ”Docker 工 作 流程 








Docker 的 其 他 操作 ， 比 如 停止 或 删除 Docker 应 用 和 启动 的 流程 差不多 ， 这 里 就 不 再 一 一 介绍 了 。 


1.2.2 ”Docker 化 应 用 的 存在 形式 


我 们 知道 ， 经 过 20 多 年 的 发 展 ，Linux 下 应 用 软件 已 经 不 计 其 数 ， 不 但 种 类 繁多 ， 而 且 安 装 部 署 方式 也 干 奇 百 怪 、 不 一 而 足 ， 如 有 些 软件 依赖 特定 操作 系统 、 有 些 依赖 特定 内 核 版 本 、 有 些 依赖 一 些 第 三 
方 软件 和 共享 库 等 。 另 外 ， 不 同 操作 系统 ， 不 同 的 系统 版 本 软件 的 配置 和 启动 方式 也 存在 很 大 差异 。 





既然 软件 安装 部 署 方式 没有 一 个 统一 的 标准 ， 那 么 Docker 的 官方 仓库 该 如 何 做 呢 ? 总 不 能 针对 每 个 软件 ， 写 一 个 安装 说 明 书 吧 。 


换个 角度 想 一 下 ， 用 户 的 需求 是 什么 一 一 把 软件 运行 起 来 ， 至 于 怎么 安装 软件 、 软 件 运行 在 什么 操作 系统 下 用 户 不 太 关心 。 那 么 ， 就 把 软件 和 它 依赖 的 环境 (包括 操作 系统 和 共享 库 等 ) 、 依 赖 的 配置 
文件 打包 在 一 起 ， 以 虚拟 机 的 形式 放 到 官方 仓库 ， 供 大 家 使 用 。 只 要 有 虚拟 机 的 运行 环境 ， 就 可 以 不 做 任何 修改 把 软件 轻松 地 运行 起 来 。 这 种 方式 甚至 不 需要 大 家 重复 安装 和 配置 软件 ， 只 要 有 一 个 人 把 软 
件 安装 和 配置 好 ， 提 交 到 官方 仓库 ， 其 他 人 下 载 后 就 可 以 直接 以 虚拟 机 的 形式 运行 起 来 。 我 们 以 这 种 方式 解决 了 软件 安装 部 署 方式 没有 一 个 统一 标准 的 问题 ， 如 图 1-4 所 示 。 




















依赖 的 库 和 第 三 方 软件 依赖 的 库 和 第 三 方 软件 





虚拟 机 虚拟 机 
图 1-4 ”应 用 的 组 织 形式 (一 ) 


但 这 种 软件 部 署 方式 却 存在 很 多 问题 ， 一 般 一 个 软件 包 大 小 也 就 几 兆 到 几 十 兆 不 等 ， 但 一 个 操作 系统 却 有 好 几 个 G。 如 果 每 个 软件 都 带 上 它 依赖 的 操作 系统 ， 那 么 每 个 软件 都 有 几 个 G， 不 要 说 运行 ， 仅 
仅 下 载 1 个 软件 都 要 数 小 时 ， 是 不 是 有 “ 捡 了 芝麻 丢 了 西瓜 ”的 感觉 ? 


























Docker 为 了 解决 这 个 问题 ， 引 入 分 层 的 概念 。 把 一 个 应 用 分 为 任意 多 个 层 ， 比 如 操作 系统 是 第 一 层 ， 依 赖 的 库 和 第 三 方 软件 是 第 二 层 ， 应 用 的 软件 包 和 配置 文件 是 第 三 层 。 如 果 两 个 应 用 有 相同 的 底 
层 ， 就 可 以 共享 这 些 层 。 






































以 图 1-4 为 例 ， 假 如 应 用 A 和 应 用 B 操 作 系统 版 本 是 一 样 的， 它们 就 可 以 使 用 共享 这 一 层 ， 安 装 应 用 A 时 需要 下 载 操作 系统 层 ， 安 装 B 应 用 就 不 用 下 载 操作 系统 层 ， 只 需要 下 载 它 的 依赖 包 和 自身 的 软件 
包 。 因 为 主流 的 操作 系统 也 就 那么 几 个 ， 最 差 情 况 下 ， 也 就 把 常用 的 操作 系统 都 安装 一 遍 ， 然 后 ， 包 含 操作 系统 的 软件 包 就 和 传统 的 软件 包 一 样 大 小 了 ， 如 图 1-5 所 示 。 











应 用 A 应 用 B 


依赖 的 库 和 第 三 方 软件 依赖 的 库 和 第 三 方 软件 





虚拟 机 虚拟 机 


图 1-5 ”应 用 的 组 织 形式 (二) 








但 这 种 共享 层 存在 冲突 问题 ， 比 如 ， 应 用 A 需 要 修改 操作 系统 的 某 个 配置 ， 应 用 B 不 需要 修改 。 如 何 解决 这 个 冲突 呢 ? 我 们 规定 层次 是 有 优先 级 的 ， 上 层 和 下 层 有 相同 的 文件 和 配置 时 ， 上 层 覆 盖 下 层 ， 
数据 以 上 层 的 数据 为 准 。 我 们 给 每 个 应 用 一 个 优先 级 最 高 的 空白 层 ， 如 果 需 要 修改 下 层 的 文件 ， 就 把 这 个 文件 拷贝 到 这 个 优先 级 最 高 的 空白 层 进行 修改 ， 保 证 下 层 的 文件 不 做 任何 改变 。 这 样 ， 从 应 用 A 的 
角度 来 看 ， 文 件 已 经 修改 成 功 了 ， 而 从 应 用 B 的 角度 来 看 ， 文 件 没 发 生 任何 改变 ， 如 图 1-6 所 示 。 

















空白 层 文件 A 


依赖 的 库 和 第 三 方 软件 。 


操作 系统 ”文件 A 





虚拟 机 虚拟 机 


图 1-6 ”应 用 的 组 织 形式 (三) 











Docker 的 分 层 和 写 时 拷贝 策略 ,解决 了 包含 操作 系统 的 应 用 程序 比较 大 的 问题 。 但 我 们 知道 ， 主 流 的 虚拟 机 (KVM、Xen、VMWare、VirtualBox 等 ) 一 般 比较 笨重 ， 除 了 虚拟 机 本 身 运行 要 消耗 大 量 
的 系统 资源 (CPU、 内 存 等 ) 外 ， 启 动 一 个 虚拟 机 也 需要 花费 数 分 钟 ， 如 何 把 虚拟 机 做 到 轻 量化 呢 ? 








以 OpenVZ、VServer、LXC 为 代表 的 容器 类 虚拟 机 ， 是 一 种 内 核 虚 拟 化 技术 ， 与 宿主 机 运行 在 相同 Linux 内 核 ， 不 需要 指令 级 模拟 ， 性 能 消耗 非常 小 ， 是 非常 轻 量 级 的 虚拟 化 容器 ， 虚 拟 容器 的 系统 资 
源 消耗 和 一 个 普通 的 进程 差不多 。Docker 就 是 使 用 LXC (后 来 又 推出 libcontainer) 让 虚拟 机 变 得 轻 量化 。 





























在 Docker 的 官方 仓库 里 ， 只 需 它 有 完整 的 文件 系统 和 程序 包 ， 没 有 动态 生成 新 文件 的 需求 ， 当 把 它 下 载 到 宿主 机 上 运行 对 外 提供 服务 时 ， 有 可 能 修改 文件 (比如 输出 新 日 志 到 日 志文 件 中 ) ， 需 要 有 空 
白 层 用 于 写 时 拷贝 。Docker 把 这 两 种 不 同 状态 做 了 区 分 ， 分 别 叫 作 镜像 (image) 和 容器 (container) ， 如 图 1-7 所 示 。 


应 用 A 的 镜像 应 用 A 的 容器 
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LXC/libcontainer LXC/libcontainer 


图 1-7 应 用 的 组 织 形式 (四 ) 








在 仓库 中 的 应 用 都 是 以 镜像 的 形式 存在 的 ， 把 镜像 从 Docker 仓 库 中 下 拉 到 本 机 ， 以 这 个 镜像 为 模板 启动 应 用 ， 就 叫 容器 。 




















综 上 所 述 ,镜像 指 的 是 以 分 层 的 、 可 以 被 LXC/libcontainer 理 解 的 文件 存储 格式 。Docker 的 应 用 都 是 以 这 种 格式 发 布 到 Docker 仓 库 中 ， 供 大 家 使 用 。 把 应 用 镜像 从 Docker 仓 库 下 载 到 本 地 机 器 上 ， 以 
镜像 为 模板 ， 在 一 个 容器 类 虚拟 机 中 把 这 个 应 用 启动 ， 这 个 虚拟 机 叫 作 容 器 。 





在 Docker 的 世界 里 ， 镜 像 和 容器 是 它 的 两 大 核心 概念 ， 几 乎 所 有 的 指令 和 文档 都 是 围绕 这 两 个 概念 展开 的 。 








1.2.3 ”Docker 对 变更 的 管理 


对 于 软件 开发 来 说 ， 版 本 迭代 、 版 本 回 退 是 常态 ，Docker 对 变更 管理 又 有 什么 特别 之 处 呢 ? 


假若 有 一 个 应 用 的 Docker 镜 像 ， 它 的 V1.0 版 本 有 三 层 ， 每 层 文件 的 大 小 如 图 1-8 所 示 。 





图 1-8 ”应 用 的 分 层 结构 和 大 小 
接 下 来 ， 我 们 需要 对 它 做 如 下 修改 : 
“ 修改 位 于 第 一 层 的 文件 A。 
“ 删除 位 于 第 二 层 的 文件 B。 
“ 添加 一 个 新 文件 C。 
Docker 会 新 增 一 个 第 四 层 ， 针 对 上 面 的 修改 需求 ， 它 处 理 方法 如 下 : 
“ 把 第 一 层 的 文件 A 拷贝 到 第 四 层 ， 修 改 文件 A 的 内 容 。 
“ 在 第 四 层 ， 把 名 称 为 B 的 文件 设置 为 不 存在 。 
“ 在 第 四 层 ， 创 建 一 个 新 文件 C。 


通过 增加 一 个 第 四 层 ， 我 们 的 版 本 变更 为 V1.1， 如 图 1-9 所 示 。 








版 本 V1.0 版 本 V1.1 


图 1-9 应 用 两 个 版 本 变化 





我 们 想 把 应 用 的 V1.1 版 本 发 布 到 Docker 仓 库 ， 供 其 他 宿主 机 使 用 。Docker 的 仓库 已 经 存在 这 个 应 用 镜像 的 V1.0 版 本 ， 也 就 存储 有 这 个 应 用 的 第 一 层 、 第 二 层 和 第 三 层 ， 我 们 上 传 V1.1 版 本 时 ， 不 需要 
重复 上 传 前 三 层 ， 只 需要 把 第 四 层 (只 有 3M 大 小 ) 上 传 到 Docker 仓 库 就 可 以 了 。 














有 一 台 远 程 服务 器 ， 正 在 运行 这 个 应 用 的 V1.0 版 ， 它 想 升 级 到 V1.1 版 。 因 为 它 本 机 已 经 有 这 个 应 用 的 前 三 层 ， 所 以 只 需要 从 Docker 仓 库 把 第 四 层 下 载 下 来 ， 就 可 以 运行 V1.1 版 ， 如 图 1-10 所 示 。 








Waad 


第 三 层 50M 
第 二 层 200M V1.0 第 二 层 200M 
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机 需 A 





1-10 应 用 版 本 变更 流程 
































综 上 所 述 ，Docker 不 仅 具有 版 本 控制 功能 ， 并 且 还 能 够 利用 分 层 特 性 做 到 增 量 更 新 。 


1.3 ”为 什么 使 用 Docker 











当 深 入 了 解 Docker 后 ， 你 想 在 公司 或 部 门 推广 Docker， 就 需要 给 大 家 讲 明白 为 什么 要 使 用 Docker。 


当 讲 Docker 是 什么 时 ， 你 的 听众 是 一 批 Docker 爱 好 者 ，Docker 的 原理 和 实现 细节 讲 得 越 深 入 、 越 具体 ， 就 越 受 大 家 的 欢迎 ; 当 讲 为 什么 要 使 用 Docker 时 ， 你 的 听众 有 领导 ， 有 开发 、 测 试 和 运 维 人 


员 ， 而 他 们 可 能 从 来 没 听 过 Docker， 或 者 对 Docker 知 之 甚 少 ， 他 们 更 关注 Docker 能 带 来 什么 价值 ， 引 入 Docker 需 要 对 现 有 的 系统 或 程序 做 多 大 改造 ，Docker 是 不 是 足够 的 稳定 ， 学 习 和 使 用 Docker 的 成 


本 有 多 高 等 问题 。 


1.3.1 ”从 代码 管理 说 起 
因 主 要 是 结构 设计 不 合理 、 编 程 人 员 水 平 不 高 、 代 码 bug 太 多 等 因素 。 不 管 项 目 有 多 大 ， 参 与 的 成 员 有 多 多 ， 代 码 修改 多 么 频繁 ， 很 少 是 由 管理 上 混乱 导致 项 目 失败 的 。 究 


现在 的 软件 项 目 ， 失 败 的 原 
的 代码 管理 工具 一 一 Git 和 SVN。 它 们 有 版 本 控制 和 中 心 仓库 这 两 大 核心 功能 ， 能 保证 大 家 不 用 担心 下 列 问题 : 


其 原因 ， 主 要 是 我 们 有 非常 优秀 








: 快速 把 代码 分 享 给 别人 。 

“ 多 人 同时 修改 一 个 文件 ， 导 致 代码 不 一 致 。 

“ 分 不 清 每 个 人 在 什么 时 间 都 提交 过 什么 代码 。 

“ 代码 被 误 删 误 改 ， 不 知道 哪些 文件 被 删 被 改 ， 也 恢复 不 到 以 前 的 状态 。 

“ 变更 和 新 分 支 太 多 ， 混 乱 到 无 法 维护 的 地 步 。 

版 本 控制 功能 不 仅 能 清晰 记录 每 个 开发 者 在 什么 时 间 交 过 什么 代码 ， 还 能 让 大 家 在 各 个 版 本 间 自 由 地 切换 、 和 融合。 大 家 如 果 要 对 齐 开发 环境 ， 不 需要 逐一 列 出 文件 的 名 字 、 文 件 的 内 容 ， 只 需要 简单 地 


说 下 版 本 号 ， 就 能 保证 大 家 的 文件 完全 一 致 。 
因为 机 器 故障 而 导致 数据 丢失 。 





中 心 仓库 可 以 保证 多 人 协作 有 一 个 统一 的 平台 ， 既 可 以 与 别人 分 享 代码 和 开发 进度 ， 也 可 以 对 每 个 人 的 代码 做 异 机 备份 ， 防 止 
软件 部 署 和 代码 管理 面临 很 多 相似 的 问题 : 

“ 如 何 快速 把 一 台 机 器 的 应 用 环境 分 享 给 其 他 机 器 使 用 ， 用 于 扩容 和 故障 时 服务 转移 。 

“ 同一 个 功能 模块 的 多 台 机 器 ， 软 件 版 本 和 配置 文件 镜像 出 现 不 一 致 ， 很 难 被 发 现 。 

“ 多 人 维护 一 套 系 统 ， 很 难 清晰 地 记录 下 每 个 人 都 做 过 什么 操作 、 每 次 变更 都 有 哪些 内 容 ， 以 便 在 故障 时 快速 回 退 。 


“ 有 些 配 置 文件 或 数据 被 误 删 了 ， 恢 复 不 回来 ， 甚 至 很 长 一 段 时 间 都 察觉 不 到 。 


“ 随 着 操作 系统 版 本 、 软 件 、 硬 件 的 更 新 迭代， 系统 维护 的 复杂 度 直线 上 升 ， 混 乱 不 堪 。 
既然 代码 管理 做 得 这 么 好 ， 那 软件 部 署 为 什么 不 借鉴 代码 管理 的 方法 呢 ? 


代码 管理 的 对 象 是 纯 文件 (代码) ， 体 量 小 ， 有 统一 规范 的 文件 编码 方式 ， 对 平台 无 依赖 。 而 软件 部 署 管理 的 对 象 是 一 个 环境 ， 除 了 文件 ， 还 有 二 进 制 的 软件 和 它 依赖 的 运行 环境 (包括 操作 系统 和 依 
赖 库 ) 。 由 于 操作 系统 和 依赖 库 的 体 量 很 大 ， 难 以 完全 照搬 代码 管理 的 方式 ， 用 版 本 控制 和 中 心 仓库 来 解决 软件 部 署 的 问题 。 





1.3.2 ”当前 的 优化 策略 


下 面 让 我 们 看 看 ， 对 于 软件 部 署 ， 目 前 主流 的 解决 方案 是 什么 样子 的 。 

把 环境 分 为 两 个 部 分 : 基础 环境 和 应 用 环境 。 

“ 基础 环境 : 包含 机 器 硬件 、 操 作 系统 、 提 供 基 础 服务 的 应 用 〈 如 ssh、syslog 等 ) 。 

“ 应 用 环境 : 包含 应 用 需要 的 各 种 软件 包 和 配置 文件 (虽然 软件 包 中 也 可 以 包含 配置 文件 ， 但 对 于 一 些 变 更 频繁 和 需要 个 性 化 配置 的 文件 ， 最 好 还 是 独立 出 来 ) 。 
对 这 两 种 类 型 的 环境 ， 采 取 不 同 的 策略 : 

“ 基础 环境 统一 化 ， 尽 量 保持 完全 一 致 。 比 如 ， 使 用 相同 的 硬件 服务 器 ， 运 行 相 同 版 本 的 操作 系统 和 基础 软件 。 

“ 应 用 环境 分 解 出 一 个 个 独立 服务 ， 每 个 服务 再 分 解 为 包 和 配置 文件 ， 使 用 版 本 控制 和 中 心 仓库 来 对 包 与 配置 进行 管理 。 


整体 的 解决 方案 如 图 1-11 所 示 。 









3. 下 载 应 用 


4. 启动 应 用 


docker pull xx 1. 发 送 启动 指令 
docker run xx 
docker stop XX 
5. 返回 结果 


操作 系统 : Ubuntu/Ceontos 
Actor 


硬件 : 宿主 机 





图 1-11 Docker 整 体 的 解决 方案 


在 这 个 解决 方案 中 ， 我 们 把 软件 包 和 配置 都 版 本 化 ， 每 次 变更 都 提交 一 个 版 本 到 中 心 仓 库 ， 然 后 再 下 发 到 各 台 机 器 上 。 由 于 每 台 机 器 的 基础 环境 都 保持 一 致 ， 所 以 软件 部 署 时 可 以 不 关注 底层 操作 系统 
的 适 配 问题 ， 在 一 台 机 器 打包 编译 的 应 用 可 以 快速 迁移 到 其 他 机 器 。 





这 个 解决 方案 ， 在 基础 环境 一 致 的 前 提 下 ， 实 现 了 分 解 版 的 版 本 控制 和 中 心 仓库 ， 针 对 分 解 出 来 的 软件 安装 包 和 配置 文件 ， 可 以 通过 版 本 来 管理 ， 并 且 可 以 把 包 和 配置 提交 到 中 心 仓库 ， 让 所 有 其 他 机 
器 分 享 。 





这 个 方案 ， 存 在 以 下 两 个 问题 : 
“ 基础 环境 难以 改动 : 因为 上 层 应 用 环境 的 软件 和 配置 文件 都 是 基于 基础 环境 编译 与 配置 的 ， 一 旦 基础 环境 发 生 改 变 ， 可 能 导致 上 层 的 软件 包 和 配置 不 能 正常 工作 。 


“ 应 用 环境 的 维护 成 本 取决 于 包 和 配置 的 数量 : 由 于 应 用 环境 不 是 一 个 统一 整体 ， 而 是 分 解 出 一 个 个 包 和 配置 ， 随 着 包 和 配置 的 增多 ， 维 护 的 复杂 性 也 随 之 增加 。 
1.3.3 ”Github 版 的 应 用 部 署 解决 方案 


Github 是 最 流行 、 最 优秀 的 代码 管理 平台 ，Docker 借 鉴 了 Github 的 管理 思路 ， 打 造 了 一 个 Github 版 的 应 用 部 署 的 管理 方案 。 

















如 果 使 用 Docker 来 管理 部 署 应 用 ， 解 决 方案 如 图 1-12 所 示 。 








和 上 一 节 的 方案 做 下 对 比 : 
“ 基础 环境 灵活 ， 对 硬件 和 操作 系统 都 没有 限制 ， 只 需要 在 每 台 机 器 上 安装 Docker Engine， 用 于 运行 Docker 应 用 。 


“ 应 用 环境 也 不 再 分 解 为 一 个 个 包 和 配置 文件 ， 而 是 作为 一 个 有 机 的 整体 ， 这 个 有 机 的 整体 包含 应 用 需要 的 所 有 软件 包 、 配 置 文件 和 它 依 赖 的 运行 环境 (操作 系统 和 依赖 库 ) ， 带 有 版 本 控制 功能 ， 也 
可 以 提交 到 中 心 仓库 供 大 家 共享 。 由 于 Docker 的 镜像 中 包含 应 用 运行 需要 的 所 有 包 、 配 置 和 系统 环境 ， 下 发 镜像 后 不 需要 做 任何 安装 配置 应 用 就 可 以 直接 运行 ， 不 会 随 着 应 用 中 包 和 配置 数量 的 增加 ， 导 
致 安装 部 署 变 得 复杂 。 





















































Docker 方 案 完 美 地 把 代码 管理 中 的 版 本 控制 和 中 心 仓库 概念 移植 到 应 用 部 署 领域 ， 让 大 家 顿时 从 应 用 部 署 烦琐 、 重 复 的 工作 中 解脱 出 来 ， 可 以 像 使 用 Github 管 理 代码 那样 优雅 地 管理 应 用 的 部 署 工作 。 
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Docker 镜像 仓库 


是 交 到 仓库 





制作 镜像 


整体 打包 - - 
操作 系统 (Centos6.5) 操作 系统 (Ubuntu 14.04) 


机 器 硬件 (DELL R720) 机 器 硬件 (HUAWEI RH2485) 





机 融入 机 融 B 


Actor 


图 1-12 使 用 Docker 来 制作 和 下 发 镜像 流程 图 









































Docker 这 个 方案 能 顺利 实施 ， 一 个 关键 点 是 通过 分 层 共 享 和 增 量变 更 技术 把 应 用 的 运行 环境 (包括 操作 系统 在 内 ) 这 么 一 个 庞大 的 体 量 顺 利 瘦身 ， 让 应 用 运行 环境 的 安装 和 修改 在 大 多 数 情况 下 与 只 装 
软件 包 一 样 轻 量 、 简 单 。 分 层 共 享 和 增 量变 更 技术 在 1.2.2 节 有 过 详细 讲解 ， 这 里 就 不 再 复述 了 。 





1.3.4 ”Docker 应 用 场景 














下 面 描述 两 个 典型 的 Docker 应 用 场景 ， 如 图 1-13 所 示 。 
































在 这 两 个 应 用 场景 中 ， 有 开发 、 测 试 (QA) 和 运 维 人 员 ， 分 别 维护 开发 、 测 试 和 生产 环境 的 服务 ， 他 们 有 一 个 私有 的 Docker 仓 库 ， 存 储 着 各 种 各 样 的 Docker 化 的 应 用 镜像 。 


场景 一 





现在 有 一 个 需求 ， 需 要 对 应 用 App1 做 修改 、 测 试 和 发 布 新 变更 到 生产 环境 ， 工 作 步 骤 如 下 : 





1) 开发 者 先 从 私有 仓库 找到 App1 这 个 应 用 最 新 稳定 版 本 ， 假 设 为 V1.0 版 ， 把 这 个 App1: v1.0 下 载 到 开发 机 ， 修 改 ， 并 提交 新 版 本 V1.1 到 私有 仓库 ， 并 告诉 测试 人 员 测试 。 





2) 测试 人 员 下 载 开发 者 刚 提交 的 新 版 本 App1: v1.1， 测 试 ， 并 把 测试 结果 反馈 给 开发 者 。 
3) 如 果 测 试 失败 ， 开 发 继续 修改 ， 提 交 新 版 本 给 测试 人 员 做 新 一 轮 的 测试 如 果 测 试 成 功 ， 开 发 把 要 发 布 的 应 用 的 名 称 和 版 本 号 提供 给 运 维 同事 。 


4) 运 维 人 员 根 据 开发 提供 的 应 用 名 和 版 本 号 ， 把 相关 镜像 从 私有 仓库 下 拉 到 各 个 生产 环境 的 机 器 上 ， 停 掉 旧 版 本 的 Docker 容 器 ， 启 动 新 版 本 的 Docker 容 器 ， 完 成 发 布 。 生 产 环境 的 机 器 上 可 以 同时 组 


存 应 用 的 多 个 版 本 镜像 ， 如 果 新 发 布 的 版 本 有 问题 ， 可 以 快速 切换 回 原来 的 版 本 。 





局 





官方 或 第 三 方 仓 库 
App2:V1.0 


App2 


Tlinux1.2 


Susel0 
Appl:vl.0 


制作 新 镜像 部 署 线 上 





开发 人 员 测试 人 员 运 维 人 员 


图 1-13 ”Docker 两 个 应 用 场景 

















因为 Docker 的 应 用 镜像 包含 应 用 运行 需要 的 所 有 软件 包 、 配 置 和 操作 系统 ， 所 以 开发 者 打包 好 Docker 镜 像 ， 测 试 和 运 维 人 员 从 私有 仓库 下 拉 ， 不 需要 做 任何 修改 ， 就 可 以 运行 起 来 ， 并 保证 和 开发 者 
运行 的 环境 完全 一 致 。 “一 处 编译 ， 到 处 运行 ”， 真 的 很 方便 。 




















是 一 
宗 一 














有 一 个 应 用 App2， 目 前 在 生产 环境 正常 运行 ， 但 由 于 系统 比较 者 、 缺 乏 维 护 、 开 发 和 运 维 经 历 过 更 替 且 交接 文档 不 全 ， 现 在 谁 都 不 知道 该 如 何 部 署 App2 这 个 应 用 到 新 服务 器 上 。 




















如 果 App2 是 Docker 化 的 应 用 ， 它 可 以 直接 把 运行 的 环境 转换 为 一 个 带 版 本 号 的 Docker 镜 像 (比如 App2: v1.0) ， 提 交 到 私有 仓库 ， 供 开发 者 修改 或 运 维 人 员 发 布 新 机 器 。 





1.3.5 ”Docker 可 以 解决 哪些 痛 点 


1. 开 发 人 员 


不 管 在 大 公司 还 是 小 公司 ， 开 发 人 员 经 常 被 如 下 问题 困扰 : 





:为 了 节约 成 本 ， 一 台 开 发 机 多 人 使 用 ， 管 理 混乱 ， 相 互 干 扰 。 

“ 一 个 开发 往往 只 用 一 套 开发 环境 ， 同 时 有 多 个 开发 任务 时 ， 不 得 不 反复 修改 开发 环境 ， 以 适应 不 同 的 开发 任务 。 

“ 多 个 开发 人 员 希 望 保持 相同 的 开发 环境 开发 同一 个 项 目 ， 但 开发 环境 难以 复制 ， 即 便 大 家 起 初 的 开发 环境 一 样 ， 随 着 项 目的 滚动 、 开 发 环境 的 不 停 更 新 ， 很 难保 证 每 个 人 的 开发 环境 都 同步 更 新 。 
“ 开发 机 硬件 故障 ， 需 要 更 挨 新 机 器 ， 重 新 搭建 开发 环境 是 件 头疼 的 事 。 如 果 硬 件 故 障 ， 重 要 数据 没 备份 ， 那 就 更 让 人 崩溃 。 

“ 打算 调研 下 新 软件 ， 安 装配 置 文档 复杂 ， 仅 仅 把 软件 安装 、 运 行 起 来 就 要 花费 大 半天 时 间 。 


上 面 问题 带 来 的 工作 量 不 能 体现 开发 人 员 的 核心 价值 ， 但 是 是 不 得 不 面 对 的 。 








如 果 使 用 Docker， 可 以 轻松 解决 上 述 问题 : 








“ Docker 化 的 应 用 使 用 容器 虚拟 化 技术 ， 每 个 应 用 都 运行 在 独立 的 虚拟 化 环境 中 ， 天 然 具 有 隔离 性 ， 不 用 担心 一 机 多 用 造成 的 管理 混乱 。 
“ 开发 人 员 在 多 任务 开发 时 ， 可 以 并 行 启动 这 些 应 用 的 Docker 容 器 ， 每 一 个 Docket 应 用 有 一 个 独立 的 运行 环境 ， 互 不 干扰 。 


“ 开发 机 硬件 故障 ， 在 新 开发 机 上 ， 重 新 从 Docker 仓 库 下 拉 开 发 环境 的 镜像 ， 一 两 分 钟 内 就 可 以 重新 搭建 一 套 开 发 环境 ， 并 且 即 便 新 旧 开 发 机 的 硬件 和 操作 系统 不 一 致 ， 重 新 搭建 的 开发 环境 仍 能 保持 
和 原来 的 环境 一 模 一 样 。 另 外 ， 还 可 以 通过 Docket 仓 库 ， 把 重要 变更 及 时 备份 到 远 端 。 


' Docker 的 每 个 复杂 软件 都 可 以 制作 成 Docker 镜 像 ， 分 享 给 大 家 使 用 。 随 着 Docker 的 流行 ， 几 乎 所 有 主流 的 软件 都 提供 Docker 化 的 部 署 方式 。 软 件 部 署 将 成 为 再 简单 不 过 的 事情 。 
2. 测 试 人 员 


测试 人 员 经 常 费 了 九 牛 二 虎 之 力 测 出 一 些 bug， 和 开发 逐一 核对 ， 发 现 大 多 数 bug 都 是 开发 和 测试 环境 不 一 致 造成 的 。 











测试 人 员 经 常 为 配置 不 同 的 测试 环境 浪费 大 量 的 时 间 ， 还 是 不 能 保证 和 开发 环境 完全 保持 一 致 ， 开 发 人 员 虽 然 很 认真 负责 地 告诉 测试 人 员 如 何 配置 测试 环境 ， 但 还 是 经 常 性 地 遗漏 一 些 配置 。 














使 用 Docker， 不 需要 做 任何 配置 ， 就 能 保证 开发 和 测试 环境 完全 一 致 ， 测 试 人 员 只 需要 关注 测试 本 身 就 可 以 了 。 








3. 运 维 人 员 


























运 维 人 员 大 部 分 时 间 都 浪费 在 装 软件 、 修 改 配置 上 ， 重 复 单调 ， 经 常 半 夜 还 要 起 来 做 紧急 扩容 、 故 障 机 服务 迁移 。 如 果 使 用 了 Docker， 好 处 显而易见 : 














“ 服务 具备 快速 部 署 能 力 ， 扩 缩 容 、 版 本 回 退 在 几 秒 钟 内 就 可 以 完成 。 

“ 基于 同一 个 Docker 镜 像 部 署 服务 ， 可 以 保证 每 台 机 器 应 用 完全 一 致 。 

“ 由 于 Docker 化 应 用 是 虚拟 化 ， 多 个 应 用 可 以 混合 部 署 在 一 台 机 器 上 ， 互 不 干扰 ， 可 以 提高 机 器 使 用 率 。 

“ Docker 化 的 应 用 可 以 运行 在 不 同 的 硬件 和 操作 系统 平台 下 ， 在 不 同 的 环境 自由 迁移 。 

“ 通过 Dockerfiel 管 理 Docker 镜 像 ， 即 使 系统 多 次 易手 、 交 接 文 档 不 全 ， 运 维 人 员 也 可 以 快速 了 解 系统 是 如 何 搭 建 的 。 


' Docker 倡 导 “Build once，Run anywhere” ， 再 烦琐 的 活 儿 ， 只 需要 做 一 次 ， 制 作成 Docker 镜 像 ， 在 任何 环境 下 都 可 以 运行 ; 还 可 以 基于 这 个 Docker 镜 像 做 修改 ， 制 作 新 的 镜像 。 








上 面 只 罗列 几 条 好 处 ， 运 维 在 使 用 Docker 的 过 程 中 ， 还 会 发 现 很 多 意 想不到 的 好 处 。 一 句 话 ，Docker 可 以 让 运 维 工作 变 得 简单 和 易于 维护 。 














1.3.6 ”Docker 的 使 用 成 本 














坦白 说 ，Docker 是 有 学 习 和 使 用 成 本 的 。 

































































Docker 昌 然 已 经 做 得 足够 简单 易 用 ， 但 由 于 它 的 定位 是 虚拟 化 容器 ， 是 一 个 单机 版 的 应 用 ， 如 果 要 基于 Docker 构 建 集群 或 PaaS 管 理 系统 ， 如 Web 管 理 界面 、 任 务 调度 策略 、 监 控 报警 等 ， 则 还 需要 
己 开发 或 从 开源 社区 寻求 支持 。 






























































另外 ， 传 统 的 运 维 是 以 机 器 为 中 心 ， 而 Docker 是 以 应 用 为 中 心 ， 它 会 颠覆 我 们 一 些 固有 的 运 维 习 惯 和 运 维 方式 。 









































但 好 在 Docker 有 非常 活跃 的 社区 ， 不 但 有 大 量 的 开发 者 为 Docker 贡 献 代码 、 修 复 bug， 让 Docker 越 来 越 好 用 、 越 来 越 稳 定 ; 还 有 大 量 的 学 习 资料 和 问题 解答 。 另 外 ， 很 多 公司 和 个 人 也 为 Docker 提 供 
大 量 优秀 的 第 三 方 开源 软件 ， 如 kubernetes、fig、etcd 和 cadvisor 等 。 这 些 都 有 助 于 进一步 降低 Docker 学 习 和 使 用 的 门槛 。 























如 果 你 被 上 面 的 理由 说 服 了 ， 那 就 赶快 跟着 本 书 ， 学 习 和 使 用 Docker 吧 ! 








14 本章 小 结 











本 章 概括 性 地 介绍 了 Docker 是 什么 ， 它 有 哪些 独特 的 物理 特性 ， 以 及 它 适 用 于 哪些 场合 和 能 带 来 哪些 好 处 。 它 灵活 便利 ， 但 也 有 一 定 的 学 习 成 本 。 下 面 章节 中 我 们 将 循序 渐进 ， 讲 解 Docker 的 使 用 方 
法 。 





























第 2 章 ”初步 体验 Docker 














上 一 章 概括 性 地 介绍 了 Docker 的 发 展 历史 、 组 织 结构 、 功 能 特性 和 使 用 场景 等 方面 的 内 容 。 本 章 主 要 从 实践 的 角度 ， 介 绍 如 何在 本 地 搭建 一 个 Docker 运 行 环境 。 












































由 于 大 多 数 用 户 的 个 人 电脑 用 的 都 是 Windows 系 统 ， 所 以 我 们 就 先 来 讲 讲 在 Windows 环 境 下 如 何 安装 和 运行 Docker。 




















2.1 Windows 下 安装 Docker 














为 了 运行 Docker， 你 的 电脑 必须 安装 64 位 Windows7 及 以 上 版 本 的 系统 (包含 Windows8/8.1 和 Windows10) 。 另 外 ， 你 要 确保 CPU 是 支持 虚拟 化 的 ， 并 且 系 统 的 虚拟 化 是 打开 的 。 











我 们 也 可 以 先 跳 过 系统 是 否 支持 虚拟 化 的 检查 直接 安装 Docker。 安 装运 行 过 程 中 如 果 出 现 错误 再 回头 检查 。 





安装 步骤 如 下 : 
1) 到 官网 https://www.docker.com/toolbox 下 载 Docker Toolbox。 


2) 双击 Docker Toolbox， 按 照 指引 进行 安装 。 














3) 如 果 安 装 成 功 ， 在 桌面 上 会 有 如 图 2-1 所 示 的 两 个 快捷 图 标 。 
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图 2-1 安装 成 功 后 的 界面 
其 中 Kitematic 是 Docker 图 形 化 管理 方式 ，Docker Quickstart 是 命令 行 管理 方式 。 


4) 双击 运行 Docker Quickstart 快 捷 图 标 。 如 果 出 现 如 图 2-2 所 示 的 运行 结果 ， 则 表明 安装 正常 。 
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is configured to use the machine with IP 
or help getting started, check out the docs at https://docs.docker.com 


图 2-2 ”运行 Docker Quickstart 的 成 功 界 面 


如 果 出 现 如 图 2-3 所 示 的 运行 结果 ， 表 明 系 统 的 虚拟 化 是 被 禁止 的 。 


Docker Quickstart Terminal 


Running pre-create checks... 

Error with pre-create check: "This computer doesn't haue UT-x/AMD-Uu enabled. 
bling lt in the BIOS 1s mandatory” 人 

Looks Like something went wrong.., Press anu key to contihge 


图 2-3 ”运行 Docker Quickstart 的 报错 界面 





5) 如 果 系统 的 虚拟 化 是 被 禁止 的 ， 可 以 通过 如 下 方式 检查 。 





在 Windows7 下 ， 通 过 下 载 Microsoft@Hardware-Assisted Virtualization Detection Tool (https://www.microsoft.com/en-us/download/details.aspx?id=592) 工具 ， 按 照 屏幕 提示 检查 。 





在 Windows8 或 8.1 下 ， 右 击 屏幕 左下 角 的 “start”， 选 择 “ 任 务 管理 器 (T) ”， 在 弹出 的 界面 上 ， 单 击 左下 角 的 “详细 信息 (D) ”选择 “性 能 ”， 找 到 右边 的 虚拟 化 ， 查 看 是 否 支 持 ， 如 图 2-4 所 











6) 经 过 确认 ， 如 果 由 于 系统 禁用 虚拟 化 导致 Docker 和 运行 失败 ， 需 要 在 开机 的 BIOS 中 激活 虚拟 化 ， 电 脑 型 号 不 同 ，BIOS 的 设置 方式 略 有 不 同 。 
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图 2-4 系统 是 否 支持 虚拟 化 的 检查 


7) 如 果 设 置 成 功 ， 可 以 通过 运行 下 面 的 命令 确认 Docker 工 作 是 否 正 常 。 


运行 如 下 命令 : 





$ docker run hello-world 





得 到 如 下 结果 : 





Unable to find image 'hello-world:latest' locally 
511136ea3c5a: Pull complete 
31cbccb51277: Pull complete 
e45a5af57b00: Pull complete 


hello-world:latest: The image you are pulling has been verified. 
Important: image verification is a tech preview feature and should not be 


relied on to provide security. 
Status: Downloaded newer image for hello-world:latest 
Hello from Docker. 


This message shows that your installation appears to be working correctly. 


To generate this message, Docker took the following steps: 
1. The Docker client contacted the Docker daemon. 


2. The Docker daemon pulled the "hello-world" image from the Docker Hub. 


(Assuming it was not already locally available.) 


3. The Docker daemon created a new container from that image which runs the 
executable that produces the output you are currently reading. 
4. The Docker daemon streamed that output to the Docker client, which sent it 


to your terminal. 





至 此 , 我们 的 Docker 在 Windows 下 已 经 安装 成 功 。 如 果 需 要 升级 ， 下 载 最 新 版 本 的 Docker Toolbox 重 新 安装 即 可 。 


Docker 已 经 安装 成 功 ， 下 面 ， 就 让 我 们 通过 一 个 例子 来 讲解 如 何 使 




















Docker。 


2.2 ”利用 Docker 搭 建 个 人 博客 


























WordPress 是 一 款 功能 强大 的 个 人 博客 系统 。 使 用 者 众多 ， 社 区 非常 活跃 ， 有 丰富 的 插件 模板 资源 。 使 用 WordPress 可 以 快速 搭建 独立 的 博客 网 站 。 








2.2.1 传统 的 安装 方法 





按照 传统 的 安装 方法 ， 参 考官 方 的 安装 文档 (http://codex.wordpress.org/zh-cn: 安 装 WordPress) ， 安 装 步骤 如 图 2-5 所 示 。 














WordPress 运 行 环境 需要 如 下 软件 的 支持 : 
“ PHP5.6 或 更 新 版 本 。 
“ MySQL5.6 或 更 新 版 本 。 


" Apache 和 mod_rewrite 模 块 。 


EG: 


虽然 有 “著名 的 5 分 钟 安装 ”， 但 由 于 需要 安装 PHP、MySQL 和 Apache 等 软件 ， 对 于 一 个 经 验 丰富 的 老手 ， 安 装 WordPress 也 需要 一 个 小 时 的 时 间 。 如 果 用 户 对 PHP、MySQL 和 Apache 不 熟悉 ， 花 费 
一 天 甚至 一 周 时 间 估 计 也 不 能 把 WordPress 安 装 成 功 。 





























2.2.2 ”使 用 Docker 进 行 安装 





























如 果 使 用 Docker 来 安装 WordPress 呢 ? 一 个 完全 不 知道 PHP、MySQL 和 Apache 的 小 白 用 户 ， 只 通过 两 条 命令 就 可 以 把 WordPress 安 装 成 功 ， 所 花费 的 时 间 也 只 有 几 分 钟 (主要 是 从 网 上 下 载 Docker 
版 的 WordPress) 。 

















安装 步 又 


3.1 第 一 步 : 下 载 WordPress 安装 包 并 解压 
3.2 第 二 步 : 创建 WordPress 数据 库 和 一 个 用 户 
a 3.2.1 使 用 cPanel 
sa 3.2.2 使 用 phpMvAdmin 
ma 3.2.3 使 用 MVvSQL 客户 端 
a 3.2.4 使 用 Plesk 
3.3 第 三 步 : 设置 wp- -config.php 文件 
3.4 第 四 步 : 上 传 - 文件 
® 3.4.1 根 目录 
a 3.4.2 子 目录 
3.5 oe 7 行人 
a 3.5.] 安 
四 


4 WordPress 安装 第 见 问 是 
而 1 百 二 版 本 的 安 攻 ed 
es 容 


于 动人 2 妇 法 这 明 
2 使 日 安装 软件 设备 





图 2-5 传统 WordPress 安 装 步骤 
下 面 让 我 们 来 见识 一 下 这 两 条 神奇 的 Docker 指 令 吧 。 


双击 桌面 的 “Docker Quickstart” 快 捷 图 标 ， 出 现 命令 行 界 面 ， 输 入 如 下 两 条 指令 : 








$ docker nn --name db --env SOT a PASSWORD=e: =-d m 
$ docker run --name MyWor dbre k db:mysql -p 0 80 a Wo: Se 





等 待 下 载 完 成 ，WordPress 就 已 经 安装 成 功 了 。 

@@ 济 

由 于 要 下 载 的 matiadb 和 WordPress 文 件 比 较 大 ， 建 议 尽 量 使 用 有 线 网 络 蔡 换 Wi-Fi 无 线 网 络 。 
安装 完成 后 ， 如 何 访问 WordPress 呢 ? 


在 “Docker Quickstart” 启 动 的 命令 行 界 面 通过 输入 如 下 指令 获取 IP: 


$ docker-machine .exe ip 
192.168.99.100 








然后 在 浏览 器 中 输入 http://192.168.99.100: 8080， 会 出 现 如 图 2-6 所 示 的 界面 。 
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图 2-6 ”安装 成 功 的 引导 界面 














按照 界面 的 指引 ， 选 择 网 站 支持 的 语言 、 输 入 网 站 标题 和 用 户 名 密码 等 信息 ， 配 置 就 完成 了 ， 如 图 2-7 所 示 。 
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功 ! 





WordPress 安 装 完成 。 您 是 否 还 沉浸 在 愉悦 的 安装 过 程 中 ? 很 遗憾 ， 一 切 皆 已 完成 ! : 


在 浏览 器 中 


ENEDS. 


图 2-7 配置 成 功 界 面 











1 


新 输入 http://192.168.99.100:8080， 一 个 高 端 ”大 气 、 上 档次 的 个 人 博客 就 呈现 在 我 们 面前 了 ， 如 图 2-8 所 示 。 
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WordPress 测 试 


只 一 个 WondPress 站 点 


2015 年 2 月 11 日 欢 地 使 用 WordPress， 这 是 人 不 的 第 一 租 文 章 ， 编 辑 砍 刚 除 它 ， 骸 后 开 始 写作 吧 ! 
1 条 评论 


近期 文章 


， 性 内， 加 好 | 


近期 评论 


， Woriprese 先 全 六 表 在 《 世 办 ,你 籽 | 》 


图 2-8 WordPress 用 户 界 面 














在 页 面 的 右 下 角 ， 在 “功能 ”一 “登录 ”中 ， 输 入 用 户 名 、 密 码 即 可 进入 WordPress 的 管理 界面 ， 对 博客 进行 修改 和 配置 ， 如 图 2-9 所 示 。 
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WordPress 4.4.2， 便 用 Twenty Shrteon 主 题 。 


WordPress 新 闻 


WordPress 44"Clifford 2015 年 12 有 128 
WordPress 4 .4 淹 体 中 文 瑶 现 已 开 败 下 载 、 式 在 声控 WordPyress 仅 去 全 





图 2-9 WordPress 管理 界面 


至 此 ， 一 个 完整 的 博客 就 搭建 完成 了 。 


2.2.3 解 惑 


在 上 一 节 ， 我 们 通过 两 条 Docker 指 令 ， 就 搭建 好 一 个 个 人 博客 网 站 。 大 家 在 惊讶 的 同时 ， 是 不 是 也 很 疑惑 : 那 两 条 Docker 指 令 到 底 是 什么 意思 ? 





下 面 我 们 就 解释 一 下 。 先 看 第 一 条 指令 : 





docker run --name db --env MYSQL ROOT PASSWORD=example -d mariadb 





其 中 : 








docker run 是 一 条 Docker 指 令 ， 后 面 的 所 有 内 容 “--name db--env MYSQL ROOT_PASSWORD=example-d mariadb” 是 Docker 指 令 的 参数 。 





这 条 指令 含义 是 启动 一 个 mariadb 数 据 库 (MySQL 数据 库 的 一 个 分 支 ) ， 数 据 库 的 管理 员 root 的 密码 设置 为 example， 让 这 个 数据 库 运 行 在 后 台 ， 给 它 起 了 一 个 唯一 的 名 字 db 并 进行 标示 。 





这 些 都 是 通过 参数 的 指定 来 实现 的 。 
通过 参数 最 后 一 部 分 内 容 “mariadb” 来 告诉 docker run 启 动 的 是 一 个 mariadb 数 据 库 。 
通过 “--env MYSQL_ROOT_PASSWORD=example” 参 数 ， 设 置 传 入 环境 变量 MYSQL_ROOT_PASSWORD 为 example， 就 会 在 初始 化 mariadb 数 据 库 时 root 把 密码 设置 为 example。 


通过 “-d” 参 数 ， 把 启动 的 mariadb 数 据 库 设置 到 后 台 运行 ， 如 果 没 有 该 参数 ， 该 进程 就 会 在 前 台 运 行 。 








通过 “--name db” 参 数 ， 给 这 个 运行 的 mariadb 数 据 库 起 一 个 名 字 。 假 如 我 们 在 一 台 机 器 上 要 启动 多 个 mariadb 数 据 库 ， 就 可 以 通过 这 个 名 字 定 位 到 不 同 的 数据 库 。 

















另外 一 个 问题 是 ， 我 们 使 用 docker run 来 运行 mariadb， 但 mariadb 从 哪里 来 呢 ? docker run 指 令 首先 会 从 本 机 检查 有 没有 mariadb 程 序 ， 如 果 没 有 ， 就 会 从 Docker Hub 搜 索 并 下 载 该 程序 ，Docker 
Hub 就 像 iPhone 的 App 应 用 商店 。 




















现在 ， 我 们 理解 了 第 一 条 指令 是 启动 一 个 mariadb 数 据 库 。 这 是 WordPress 运 行 环境 的 三 个 必需 条 件 之 一 。 接 下 来 看 看 第 二 条 指令 : 


docker run -name MyWordPress —-link db:mysql -P 8080:80 -d wordpress 





和 第 一 条 指令 非常 类 似 ， 通 过 “docker run” 在 后 台 运 行 WordPress 程 序 。 但 它 多 出 两 个 参数 “--link” 和 “-p”。 














WordPress 是 把 博客 和 个 性 化 信息 存储 到 数据 库 ， 所 以 需要 和 数据 库 建立 连接 。 在 第 一 条 指令 中 我 们 已 经 启动 了 mariadb 数 据 库 ， 并 把 它 命名 为 db。 在 第 二 条 指令 中 ， 我 们 通过 “--link db: 
mysql” 参 数 ， 把 WordPress 和 数据 库 建 立 起 了 连接 。 














WordPress 是 通过 监听 Apache 的 80 端 口 对 外 提供 服务 。 但 每 台 机 器 的 80 端 口 只 有 一 个 ， 假 如 80 端 口 被 其 他 应 用 占用 了 怎么 办 呢 ? 我 们 通过 “-p8080: 80” 参 数 ， 把 原 服务 的 80 端 口 映 射 到 8080， 这 
样 就 可 以 通过 访问 8080 端 口 来 访问 服务 。 上 一 节 我 们 访问 WordPress 的 URL (http://192.168.99.100: 8080) 端口 就 是 8080， 原 因 就 在 于 这 里 。 我 们 可 以 通过 “-p” 把 80 端 口 映射 到 任意 端口 上 。 










































































2.2.4 ”其 他 注意 事项 

















360 杀 毒 软件 会 把 Docker 识 别 为 病毒 而 删 掉 ， 所 以 出 现 类 似 情况 需要 把 360 杀 毒 软件 停 掉 再 重新 安装 DockerToolBox。 





2.3 本章 小 结 





这 一 章 ， 我 们 介绍 了 在 Windows 环 境 下 如 何 安装 Docker， 并 且 通 过 搭建 一 个 个 人 博客 WordPress， 让 大 家 了 解 Docker 指 令 的 运行 方式 。 大 家 有 没有 被 Docker 的 神奇 特性 深 深 吸 引 住 呢 ? 如 果 有 ， 那 么 
我 们 接 下 来 就 “折腾 ”得 大 一 些 。 


第 3 章 Ubuntu 下 使 用 Docker 











第 2 章 我 们 介绍 了 在 Windows 下 如 何 搭建 一 个 Docker 运 行 环境 。 这 一 章 我 们 要 切换 环境 ， 在 Ubuntu 系统 下 使 用 Docker。 为 什么 要 切换 到 Ubuntu 下 呢 ， 还 要 从 Docker 的 运行 平台 说 起 。 











3.1 ”Docker 的 运行 平台 





首先 ， 我 们 需要 知道 Docker 可 以 在 哪些 操作 系统 下 运行 。 截 止 到 2016 年 3 月 底 ， 几 乎 所 有 的 Linux 系 统 (如 Red Hat Enterprise Linux (RHEL) /Centos、Debian/Ubuntu、gentoo、arch linux 等 ) 
和 主流 的 云 平 台 服务 (如 Amazon EC2、Google Cloud Platform、Rackspace Cloud、 阿 里 云 等 ) 都 支持 Docker， 非 Linux 平 台 的 Mac OS X 和 Microsoft Windows 通 过 Docker Toolbox 来 支持 与 运行 











Docker。 






































需要 注意 的 是 ， 虽 然 几 乎 所 有 的 系统 和 平台 都 支持 Docker， 但 并 不 是 说 每 种 系统 的 所 有 版 本 都 支持 。 因 为 Docker 是 2013 年 3 月 才 诞生 ， 用 到 Linux 内 核 3.8 以 上 的 系统 才 具 有 的 一 些 新 特性 ， 刚 开始 时 只 
是 在 Ubunut 下 运行 ， 各 大 厂商 看 到 Docker 的 优势 ， 才 纷纷 拥抱 Docker， 推 出 支持 Docker 的 系统 版 本 。 所 以 只 有 相对 比较 新 的 系统 版 本 才 开始 支持 Docker。 












































那么 ， 是 不 是 只 有 运行 Linux 内 核 3.8 以 上 的 系统 才能 支持 Docker? 这 个 说 法 基本 正确 ， 但 RHEL/Centos 系 列 是 个 例外 ， 因 为 它 没有 用 原生 的 Linux 内 核 ， 它 的 内 核 是 修剪 过 的 ， 根 据 需要 ， 它 会 在 Linux 
的 低 版 本 的 内 核 加 入 高 版 本 的 特性 ， 看 到 的 版 本 号 却 还 是 低 版 本 的 内 核 编 号 。 正 是 这 个 原因 ， 内 核 版 本 为 2.6.32-431 的 RHEL/Centos6.5 就 已 经 开始 支持 Docker 了 ， 因 为 它 把 Linux 高 版 本 内 核 中 支持 
Docker 的 特性 迁移 到 2.6.32-431。 
























































由 于 Docker 跨 平台 的 特性 ， 不 同 的 系统 平台 有 不 同 的 优势 ， 用 户 可 以 根据 自己 的 需求 进行 选择 。 





Docker 是 在 Ubuntu 下 诞生 和 发 展 的 ，Docker 的 最 新 特性 都 是 在 Ubuntu 下 开发 和 测试 的 ， 所 以 Ubuntu 是 支持 Docker 的 最 好 的 操作 系统 。 














REHL/Centos 有 强大 的 研发 实力 ， 在 保证 系统 稳定 的 前 提 下 ， 可 以 快速 把 Docker 的 新 特性 移植 到 该 系统 下 ， 所 以 对 系统 稳定 性 要 求 比较 高 的 生产 环境 ， 推 荐 使 用 REHL/Centos。 











CoreOS 是 为 Docker 而 生 的 操作 系统 ， 除 了 对 Docker 支 持 良 好 外 ， 还 集成 etcd、fleet 等 ,方便 对 Docker 的 集中 管理 。 最 近 比 较 流行 的 PaaS 开 源 软 件 Flynn 和 Deis 都 是 基于 CoreOS 来 做 的 。CoreOS 是 
对 Docker 支 持 最 深入 的 操作 系统 ， 但 是 该 系统 比较 新 ， 稳 定性 有 待 时 间 的 检验 。 另 外 ，CoreOS 还 推出 了 自家 的 类 Docker 的 容器 一 一 Rocket， 后 续 对 Docker 的 支持 有 待 观察 。 



































在 Docker 自 身 工具 包 Docker Toolbox 的 帮助 下 ，Docker 在 Windows 和 OS X 系 统 也 有 良好 的 表现 ， 对 非 Linux 用 户 (大 部 分 的 开发 者 ) 是 一 个 福音 。 但 是 Windows 和 OS X 系 统 本 身 并 不 支持 Docker， 
工具 包 Docker Toolbox 通 过 集成 一 个 Linux 的 虚拟 机 ， 让 Docker 运 行 起 来 ， 所 以 对 于 一 些 复杂 的 应 用 ，Windows 环 境 并 不 能 胜任 。 我 们 上 一 章 介绍 了 Windows 下 的 Docker， 主 要 是 为 了 让 大 家 快速 体验 
Docker， 如 果 大 家 想 深入 学 习 ， 还 是 建议 大 家 安装 Linux 环 境 (尤其 推荐 Ubuntu) 。 
























































注意 
Docker 对 操作 系统 的 另外 一 个 要 求 是 必须 是 64bit 的 系统 。 


如 果 大 家 只 有 一 台 Windows 计 算 机 ， 建 议 大 家 再 安装 一 个 Ubuntu 系统 ， 形 成 双 系统 。 不 建议 在 Windows 系 统 下 通过 虚拟 机 安装 Ubuntu， 这 样 有 些 功能 体验 不 好 。 


3.2 ”安装 Windows 和 Ubuntu 双 系统 








安装 Ubuntu 有 很 多 方法 ， 现 在 我 们 只 介绍 如 何 通过 U 盘 安装 ， 其 他 安装 方式 大 家 可 以 自己 去 尝试 。 














准备 工作 : 
“ 一 个 存储 空间 不 小 于 4G 的 U 瘟 


“ 下 载 Ubuntu 安装 ISO 镜像 









































对 于 初学 者 ， 建 议 使 用 64 位 Ubuntu Kylin14.04.2 版 本 ， 因 为 它 是 Ubuntu 最 新 长 期 维护 的 版 本 ， 并 且 对 中 文 的 支持 很 好 。 下 载 地 址 : http://www.ubuntu.org.cn/download/ubuntu-kylin-zh-CN。 











3.2.1 制作 Ubuntu 安装 U 盘 














我 们 使 用 Win32Disk Imager 工 具 制 作 Ubuntu 的 安装 U 盘 ， 请 到 官方 网 站 下 载 ， 下 载 地 址 是 http://sourceforge.net/projects/win32diskimager/files/latest/download。 或 者 搜索 国内 的 大 型 下 载 网 


站 (如 华军 软件 园 ) 下 载 。 





| 


























出 
新 


下 载 后 双击 进行 安装 ， 安 装 过 程 中 ， 出 现 如 下 界面 ， 勾 选 “Create a desktop icon”,， 这 样 安装 成 功 后 ， 在 桌面 会 出 现 Win32Disk Imager 的 医 























通过 如 下 步骤 制作 安装 U 盘 : 
1) 先 插 入 U 盘 ， 以 管理 员 的 身份 运行 Win32Disk Imager。 


2) 选择 接 入 U 盘 的 盘 符 (计算 机 最 好 只 接 入 一 个 U 盘 ， 以 免 选 错 ) 。 








3) 在 Image File 中 ， 选 择 系统 ISO 软件 包 (注意 : 15O 包 需要 放 在 英文 或 数字 目录 下 ， 即 不 能 放 在 中 文 目录 下 ) 。 
在 “保存 类 型 ”中 选择 **， 这 样 才能 发 现 1SO 系 统 包 。 


4) 单 击 “Write” 按 钮 。 








如 图 3-1 所 示 。 











Win32 Disk Imager 


Image File Device 
narney/Desktop/ubuntukylin-—14. 04. 2-desktop-amd64. iso 外 | [D: \] -| 


ob | MD5 Hash: SN 





Progress 
ine | 62% 
Version: 0.9.5 Cancel Read Write 


11.4656MB/s 





图 3-1 Win32Disk Imager 使 用 界面 








秆 待 10 分 钟 左右 ， 会 有 弹 框 提示 制作 成 功 。 


3.2.2 ”通过 U 盘 安装 Ubuntu 
































安装 Ubuntu 之 前 ， 务 必 把 计算 机 上 的 重要 数据 备份 ， 并 且 预 留 一 个 空白 的 磁盘 分 区 (不 小 于 30G) 给 Ubuntu 使 用 。 然 后 在 BIOs 中 设置 USB 启 动 优先 ， 接 着 插入 安装 U 盘 ， 重 启 计算 机 ， 就 进入 
Ubuntu 安装 界面 ， 如 图 3-2 所 示 。 
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试用 Ubuntu 安装 Ubuntu 


您 可 以 直接 从 此 CD 尝试 Ubuntu ,而 不 用 对 您 的 电脑 作 任何 更 改 。 
如 果 您 已 经 准备 完毕 ， 您 可 以 与 现 有 系统 并 存 (或 者 替代 ) 方式 将 Ubuntu 安装 到 您 的 电脑 上 。 此 过 程 无 需 耗 时 太 
久 。 

中 文 (繁体 ) 

日 本 语 您 可 以 阅读 一 下 发 行 注 记 。 





图 3-2 ”安装 方式 选择 界面 














接 下 来 单 击 “继续 ”按钮 ， 直 到 出 现 如 图 3-3 所 示 的 界面 ， 选 择 最 下 面 的 “其 他 选项 ”。 


































































































进入 分 区 界面 ， 找 到 预 留 给 Ubuntu 的 磁盘 分 区 ， 单 击 下 面 的 “-” 号 删除 该 分 区 ， 形 成 一 个 空闲 分 区 ， 如 图 3-4 所 示 。 
选中 该 空闲 分 区 ， 然 后 单 击 下 方 的 “+” 号 ， 创 建 swap 交 换 分 区 ， 如 图 3-5 所 示 。 
按 相同 的 方法 创建 /boot 分 区 和 / 根 分 区 。 如 图 3-6 和 图 3-7 所 示 ， 注 意 各 分 区 的 大 小 、 用 于 的 文件 系统 和 挂 载 点 。 






























































创建 完 分 区 如 图 3-8 所 示 。 





这 台 计 算 机 似乎 没有 安装 操作 系统 。 您 准备 怎么 做 ? 


O 〇 清除 整个 磁盘 并 安装 Ubuntu 
注意 : 这 会 副 除 所 有 系统 里 面 的 全 部 程序 、 文 档 、 坚 片 、 音 乐 和 其 他 文件 。 


Encrypt the new Ubuntu installation for security 
下 一 步 ， 你 需要 选择 一 个 安全 密 铀 。 


Use LVM with the new Ubuntu installation 
这 将 启动 罗 辐 分 区 管理 (LYM) , 有 快照 和 调整 分 区 大 小 等 功能 。 


@ 其 他 选项 
1 您 可 以 自己 创建 、 调 整 分 区 ， 或 者 为 Ubuntu 选择 多 个 分 区 。 





退出 (Q) | | 。 后 退 (B) 








图 3-3 安装 类 型 选择 


OD 
2 


空闲 台 12831 MB 


NR 





十 | — |Change... 
安装 引导 器 的 设备 : 





新 建 分 区 表 ... | 还 原 





/dev/sda ATA VBOX HARDDISK (12.8 GB) 





[ 退出 (Q) | | ”后退 (8) | | 现在 安装 () 








图 3-4 ”磁盘 分 区 1 





大 小 必 | 4000 一 +| MB 
新 分 区 的 类 型 : 站) 主 分 区 
@ 加 加 分 区 
新 分 区 的 位 置 : 食 空间 起 始 位 置 
人 空间 结束 位 置 


用 于 : | 交换 空间 


| 取消 (QO) 


大 小 : | so0 — +| MB 
新 分 区 的 类 型 : ( ) 主 分 区 

他 过 加 分 区 
新 分 区 的 位 置 : 券 空间 起 始 位 置 

站 室 间 结束 位 置 


FF | EXxt2 文件 系统 | 
boot 


| 取消 || 





四 创建 分 区 
大 小 : | 医事 -~ +|MB 
新 分 区 的 类 型 ， 站 主 分 区 一 
QO 运 辑 分 区 
新 分 区 的 位 置 : 人 @ 空间 起 始 位 置 


站 室 间 结束 位 和 置 
Ext4 日 志文 件 系统 ™ 


I/ ”| 
EE 


图 3-7 磁盘 分 区 4 








3 


/dev/sda6 ext4 天 8830 MB 未 知 


新 建 分 区 表 -| 还 原 


安装 启动 引导 器 的 设备 : 
/dev/sda AIAVBOXHARDDISK (12.8 GB) 





| 
| 


退出 (Q) | | ”后退 (8) ”| | 现在 安装 () | 








图 3-8 ”磁盘 分 区 5 




















重启 。 这 时 你 会 看 到 GNU GRUB 的 选择 界 














检查 是 否 已 创建 了 swap 交 换 分 区 、/boot 分 区 和 / 根 分 区 这 三 个 分 区 。 然 后 勾 选 “格式 化 / 根 分 区 ”， 单 击 “ 现 在 安装 ”按钮 ， 按 照 引导 安 装 ， 安 装 完成 后 ， 
面 ， 第 一 个 是 Ubuntu， 最 后 一 个 是 Windows。 可 以 分 别 进 到 两 个 系统 ， 看 看 系统 是 否 正 常 。 如 果 正 常 ， 那 么 我 们 的 Ubuntu 已 经 安装 成 功 了 ， 接 下 来 就 可 以 安装 Docker 了 。 
































3.3 在 Ubuntu 下 安装 Docker 


通过 GNU GRUB 选 择 进 入 Ubuntu 系统 ， 配 置 好 网 络 。 


先 通过 下 面 命令 更 新 一 下 apt 软 件 源 。 





sudo apt-get update 





安装 Docker 有 两 种 方式 。 


方法 一 : 从 apt 源 安装 dockerio， 但 版 本 比较 旧 。 





sudo apt-get install docker.io 


























方法 二 : 使 用 官方 提供 的 安装 脚本 ， 可 以 安装 最 新 版 本 的 Docker， 推 荐 使 用 这 种 安装 方式 ， 安 装 命令 如 下 : 




















sudo apt-get install curl 
curl -SSL https://get.docker.com/ | sh 





安装 完成 后 ， 通 过 如 下 命令 启动 Docker 的 守护 进程 。 





$ sudo service docker start 
docker start/running. process 3050 





然后 ， 可 以 通过 如 下 脚本 检查 Docker 安 装 是 否 成 功 。 





$ sudo docker run hello-world 

Unable to find image 'hello-world:latest' locally 

latest: Pulling from library/hello-world 

03f4658f8b78: Pull complete 

a3ed95caeb02:; Pull complete 

Digest: sha256:8be990ef2aeb1l6dbcb9271ddfe2610fa6658d13f6dfb8bc72074cclca36966a7 

Status: Downloaded newer image for hello-world:latest 

Hello from Docker. 

This message shows that your installation appears to be working correctly. 

To generate this message, Docker took the following steps: 

1. The Docker client contacted the Docker daemon. 

2. The Docker daemon pulled the "hello-world" image from the Docker Hub. 

3. The Docker daemon created a new container from that image which runs the 
executable that produces the output you are currently reading. 

4. The Docker daemon streamed that output to the Docker client, which sent it 
to your terminal. 

To try something more ambitious, you can run an Ubuntu container with: 

$ docker run -it ubuntu bash 

Share images, automate workflows, and more with a free Docker Hub account: 

https://hub.docker.com 

For more examples and ideas, visit: 

https://docs.docker.com/userguide/ 


























如 果 不 想 每 次 运行 Docker 都 使 用 sudo 权 限 ， 可 以 把 用 户 加 到 Docker 组 中 。 例 如 ， 我 的 用 户 名 为 harney， 则 添加 命令 如 下 : 


























$ sudo usermod -aG docker harney 

















晶 启 后 生效 ， 再 次 执行 Docker 的 指令 ， 直 接 输 入 “dockerxx”， 不 需要 加 “sudo” 了。 


中 | 














现在 在 Ubuntu 下 的 Docker 已 经 安装 成 功 了 。 


3.4 ”再 次 体验 Docker 











我 们 介绍 了 如 何在 Ubuntu 系 统 下 安装 Docker， 并 且 指 出 Ubuntu 是 对 Docker 支 持 最 好 的 系统 。 这 一 节 我 们 就 再 次 介绍 几 个 例子 ， 让 大 家 更 深入 地 体验 Docker。 


3.4.1 再 看 个 人 博客 WordPress 的 搭建 


还 记得 第 2 章 在 Windows 环 境 下 通过 两 条 Docker 指 令 搭建 WordPress 吗 ?现在 切换 到 Ubuntu 系统 下 ， 再 来 看 看 这 两 条 指令 是 否 有 效 。 


打开 Ubuntu 的 命令 行 终端 ， 依 次 执行 这 两 条 Docker 指 令 。 





$ docker run --name db --env MYSQL ROOT PASSWORD=example -d mariadb 
$ docker run --name MyWordPress --link db:mysql -p 8080:80 -d wordpress 





由 于 需要 从 网 上 下 载 几 百 兆 的 文件 ， 请 耐心 等 待 指令 执行 完成 。 





然后 通过 ifconfig 命 令 查看 本 机 的 I|P 地 址 。 比 如 ， 我 的 地 址 是 192.168.10.103， 在 浏览 器 中 输入 http://192.168.10.103:8080， 出 现 如 图 3-9 所 示 的 界 | 
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它 和 Windows 下 WordPress 配 置 界面 完全 一 样 。 





在 Windows 和 Ubuntu 不 同系 统 环境 下 ， 我 们 使 


3.4.2 ”开源 的 版 本 控制 利器 一 一 GitLab 





Continue 


图 3-9 WordPress 安 装 成 功 界面 














相同 的 Docker 指 令 ， 就 可 以 把 WordPress 安 装 成 功 。 这 体现 了 Docker 非 常 优良 的 跨 平台 的 特性 。 








如 托管 的 项 目 必须 公开 代 





码 ， 如 果 建 立 私有 仓库 (代码 不 公开 ) ， 需 要 收费 ; 在 国内 访问 GitHub 有 时 会 出 现 访问 不 了 的 情况 ; 等 等 。 























GitLab 是 一 个 类 GitHub 的 开源 的 代码 管理 工 . 




















， 它 实现 了 GitHub 大 部 分 功能 。 它 的 优势 是 可 以 实现 本 地 部 署 ， 搭 建 公司 内 部 的 版 本 控制 系统 。 


下 面 ， 我 们 还 是 利用 Docker， 看 看 如 何 搭建 GitLab 服 务 。 














1. 搭 建 GitLab 服 务 

我 们 使 用 sameersbn/docker-gitlab 来 搭建 GitLab 服 务 ， 项 目地 址 为 https://github.com/sameersbn/docker-gitlab。 它 的 运行 环境 由 如 下 三 部 分 组 成 : 
“ postgresql 数 据 库 

“ redis 缓 存 服务 

“ gitlab 服 务 

我 们 使 用 Docker 命 令 依 次 启动 这 三 个 服务 : 


启动 postgresql: 





docker run --name gitlab-postgresgql -d \ 
--env 'DB NAME=gitlabhq production' \ 
--env 'DB USER=gitlab' --env 'DB_PASS=password' \ 
sameersbn/postgresql:9.4-12 





启动 redis: 





docker run --name gitlab-redis -d sameersbn/redis:latest 





启动 gitlab: 





docker run --name gitlab -d \ 
--link gitlab-postgresql:postgresq]l --link gitlab-redis:redisio \ 
--publish 10022:22 --publish 10080:80 \ 
--env 'GITLAB PORT=10080' --env 'GITLAB SSH PORT=10022' \ 
--env 'GITLAB SECRETS DB KEY BASE=long-and-random-alpha-numeric-string' \ 
sameersbn/gitlab:8.4.4 

















这 三 条 Docker 指 令 与 安装 WordPress 的 Docker 指 令 和 参数 基本 一 样 ， 唯 一 不 同 的 是 ， 传 递 的 环境 变量 和 了 映射 的 端口 更 多 。 从 这 里 我 们 发 现 了 一 个 特点 : Docker 指 令 中 的 参数 标示 符 可 以 重复 使 用 ， 比 











如 ， 如 果 传递 多 个 环境 变量 ， 就 连续 使 用 多 个 “--env”。 
2. 测 试 GitLab 


上 一 节 ， 我 们 已 经 搭建 好 了 GitLab 服 务 ， 接 下 来 看 看 如 何 使 用 它 。 





首先 通过 ifconfig 命 令 查看 本 机 IP， 然 后 通过 http://192.168.10.103:10080 就 可 以 访问 到 如 图 3-10 所 示 的 界面 。 








My Sign in - Gitiab 
辐 192.168.10.103:10080/users/sign_in 


GitLab Community Edition Elen User olan lh 


Open source software to collaborate on code Usermame or Emall 


Manage git repositories with fine grained access controls that keep Password 
your code secure. Perform code reviews and enhance collaboration 

; : 3 国 Remember me 
with merge requests. Each project can also have an issue tracker and a 


New user? Create an account 








图 3-10 ”GitLab 的 登录 界面 


系统 默认 的 用 户 名 : root， 密 码 : 5iveL! fe， 在 界面 的 右上 侧 , 输 入 后 就 可 以 体验 gitlab 了 。 














我 们 创建 了 一 个 项 目 ， 就 可 以 像 GitHub 那 样 使 用 了 ， 界 面 如 图 3-11 所 示 。 














3.4.3 ”项 目 管理 系统 一 一 Redmine 


Redmine 是 一 套 跨 平台 的 项 目 管理 系统 ， 它 通过 “项 目 (Project) ”的 形式 把 成 员 、 任 务 (问题 ) 、 文 档 、 讨 论 及 各 种 形式 的 资源 组 织 在 一 起 ， 大 家 参与 更 新 任务 、 文 档 等 内 容 来 推动 项 目的 进 














时 系统 利用 时 间 线索 和 各 种 动态 的 报表 形式 来 














Mp Administrator / test . Git x 








自动 给 成 员 汇 报 项 目 进 度 。 另 外 ， 它 还 集成 了 Wiki 文 档 、 版 本 控制 、bug 跟 踪 等 功能 。Redmine 是 项 目 管理 不 可 或 缺 的 好 工具 。 








€ © 192.168.10.103:10080/root/test 





已 乡 GitLab 


ashboard 
uvuard 


Project 
Activity 
Files 
Commits 
Builds 
Graphs 
Milestones 
lssues 
Merge Requests 
Members 
Labels 


Wiki 


1. 搭 建 Redmine 服 务 








搭建 Redmine 服 务 ， 我 们 使 有 











两 条 Docker 指 令 就 可 以 搞定 。 


第 一 条 指令 : 





Administrator / test Searchin this project 


You won't be able to pull or push project code via 5SH until you add an SSH key to your profile 


全 Private 


T 


test 
Just a test! 


家 Star | 0 ? Fork ‘0o | 








http://localhost:106680/root/test.git 





1commit 1 branch Qtags 0.12 MB Add Changelog Add License 


1804ac1f add README ,11 minutes ago by 虱 | hamey 


图 3-11 GitLab 项 目 界 面 


sameersbn/redmine 镜 像 ， 项 目地 址 为 https://github.com/sameersbn/docker-redmine。 


Add Contribution guide 








docker run --name=postgresql-redmine -d \ 
--env='DB_NAME=redmine production' \ 
--env="'DB USER=redmine' --env='DB PASS=password' \ 
sameersbn/postgresql:9.4-12 


第 二 条 指令 : 


ocker run --name=redmine -d \ 
--link=postgresql-redmine:postgresql --publish=10083:80 \ 
—-env="'REDMINE PORT=10083' \ 
sameersbn/redmine:3.2.0-4 


2. 测 试 Redmine 








Docker 指 令 中 ， 我 们 把 Redmine 的 对 外 服务 端口 映射 到 10083， 所 以 我 们 可 以 通过 http://192.168.10.103:10083 访 问 ， 界 面 如 图 3-12 所 示 。 


























和 CC 9 192.168.10.103:10083 





图 3-12 Redmine 登 录 界面 








可 以 输入 系统 默认 用 户 (用 户 名 : admin， 密 码 : admin) 进行 深入 体验 。 

















3.5 本章 小 结 












































第 4 章 ”Docker 的 基础 知识 











例子 ， 介 绍 Docker 如 何 部 署 服务 ， 后 续 的 章节 ， 


上 一 章 我 们 安装 了 Ubuntu 系 统 并 且 举 了 三 个 例子 讲解 了 如 何 使 用 Docker 来 安装 应 用 ， 非 常 简单 方便 。 那 么 它 是 如 何 做 到 的 呢 ? 这 一 章 我 们 就 深入 Docker 的 内 部 ， 来 了 解 它 的 运行 原理 。 











4.1 ”Docker 的 基本 概念 和 常用 操作 指令 











上 一 章 ， 我 们 通过 docker run 指 令 创建 并 启动 了 三 个 Docker 应 用 。Docker 提 供 了 docker ps 命令 来 查看 相关 的 进程 。 











我 们 会 继续 





$ docker ps lawk '{print $2, $NF}" 
IMAGE NAMES 

sameersbn/redmine:3.2.0-4 redmine 
sameersbn/postgresql:9.4-12 postgresql-redmine 
sameersbn/gitlab:8.4.4 gitlab 

wordpress MyWordPress 

sameersbn/redis:latest gitlab-redis 
sameersbn/postgresql:9.4-12 gitlab-postgresql 
mariadb db 














docker ps 指令 输出 多 项 信息 ， 我 们 只 列 出 IMAGE 和 NAMES 两 列 。 在 搭建 WordPress 时 使 用 的 指令 : 











$ docker run --name db --env MYSQL ROOT PASSWORD=example -d mariadb 
$ docker run --name MyWordPress --link db:mysql -p 8080:80 -d wordpress 





可 以 看 出 ，docker run 命 令 的 最 后 一 列 是 mariadb 和 wordpress，--name 的 参数 是 db 和 MyWordPress， 分 别 对 应 docker ps 的 IMAGE 和 NAMES。 


那么 IMAGE 和 NAMES 代 表 什么 含义 呢 ? 其 实 它们 分 别 对 应 Docker 的 两 个 重要 概念 : 镜像 和 容器 。 





下 面 我 们 来 了 解 一 下 Docker 的 几 个 基本 概念 。 


4.1.1 ”Docker 三 大 基础 组 件 








Docker 有 三 个 重要 的 概念 : 仓库 (Repository) 、 镜 像 (Image) 和 容器 (Container) ， 它 们 是 Docker 的 三 大 基础 组 件 ， 如 图 4-1 所 示 。 
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图 4-1 三 大 基础 组 件 


























首先 ，Docker 官 方 给 用 户 提供 一 个 官方 的 Docker 仓 库 ， 它 就 像 Phone 手 机 的 App 应 用 商店 ， 里 面 存放 着 各 种 各 样 已 经 打包 好 的 Docker 应 用 一 一 Docker 镜 像 。 















































其 次 ， 用 户 就 可 以 搜索 自己 需要 的 镜像 ， 下 载 到 本 地 。Docker 镜 像 是 为 了 满足 特殊 用 途 而 按照 Docker 的 规则 制作 的 应 用 ， 有 点 儿 类 似 于 Windows 里 面 的 安装 软件 包 。 























最 后 ， 用 户 就 可 以 利用 Docker 镜 像 创建 Docker 容 器 ， 容 器 会 启动 预先 定义 好 的 进程 与 用 户 交互 ， 对 外 提供 服务 。 容 器 都 是 基于 镜像 而 创建 的 ， 基 于 一 个 镜像 可 以 创建 若干 个 名 字 不 同 但 功能 相同 的 容 
器 。 


了 解 了 Docker 的 三 大 基础 组 件 ， 再 来 看 看 这 条 指令 : 





docker run --name MyWordPress --link db:mysql -p 8080:80 -d wordpress 





这 条 指令 做 了 如 下 事情 : 
先 在 本 机 查找 有 没有 wordpress 镜 像 ， 如 果 没有 ， 就 到 Docker 的 仓库 查找 该 镜像 ， 然 后 下 载 到 本 机 。 
基于 wordpress 镜 像 创建 容器 MyWordPress， 提 供 个 人 博客 服务 。 


所 以 ， 我 们 通过 docker ps 可 以 查 到 名 字 (Name) 是 MyWordPress， 所 使 用 的 镜像 是 WordPress 的 容器 。 


4.1.2 ”常用 的 Docker 指 令 


前 面 我 们 已 经 接触 过 两 个 Docker 指 令 ，docker run 和 docker ps。 这 一 节 ， 我 们 就 从 整体 上 系统 地 介绍 一 下 Docker 指 令 。 


我 们 在 命令 行 终端 输入 docker， 就 可 以 看 到 Docker 的 指令 用 法 及 支持 的 指令 。 





$ docker 
Usage: docker [OPTIONS] COMMAND [arghttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/...] 
docker daemon [ --help | http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... ] 


docker [ --help | -v | --version ] 
A self-sufficient runtime for containers. 
Options: 
--config=~/ .docker Location of client config files 
-D, -~-debug Enable debug mode 
-H, --host=[] Daemon socket(s) to connect to 
-h, --help Print usage 
-1, --log-level=info Set the logging level 
tl Use TLS; implied by --tlsverify 


--tlscacert=~/ .docker/ca.pem Trust certs signed only by this CA 
--tlscert=~/.docker/cert .pem Path to TLS certificate file 


--tlskey=~/ .docker/key .pem Path to TLS key file 

--tlsverify Use TLS and verify the remote 

-v, --version Print version information and quit 

Commands: 

attach Attach to a running container 
build Build an image from a Dockerfile 
commit Create a new image from a container's changes 

http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/. .http://www.hzcourse.com/resource/readBook?path=/openresources/teach 
wait Block until a container stops, then print its exit code 


Run 'docker COMMAND --help' for more information on a command. 

















Docker 指 令 的 基本 用 法 : 











docker + 命令 关键 字 (COMMAND) + 一 系列 的 参数 ([arghttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/...]) 








回 


比如 ， 对 于 下 面 的 指令 来 说 ，run 是 命令 关键 字 ， 后 面 的 内 容 都 是 参数 。 

















docker run --name MyWordPress --link db:mysql -p 8080:80 -d wordpress 











如 果 我 们 不 了 解 某 个 命令 关键 字 支 持 哪些 参数 ， 可 以 通过 下 面 指令 获取 帮助 。 





docker COMMAND --help 








比如 ， 如 果 想 了 解 docker run 的 用 法 ， 使 用 如 下 命令 : 











$ docker run --help 
Usage: docker run [OPTIONS] IMAGE [COMMAND] [ARGhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/...] 
Run a command in a new container 


-a, --attach=[] Attach to STDIN, STDOUT or STDERR 

--add-host=[] Add a custom host-to-IP mapping (host:ip) 
--blkio-weight Block IO (relative weight), between 10 and 1000 
--blkio-weight-device=[] Block IO weight (relative device weight) 
--cpu-shares CPU shares (relative weight) 

--cap-add=[] Add Linux capabilities 

--cap-drop=[] Drop Linux capabilities 

-cgroup-parent Optional parent cgroup for the container 
=--cidfile Write the container ID to the file 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/. .http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 





截止 到 Docker 的 V1.10.1 版 本 ，Docker 一 共 支 持 51 条 指令 ， 操 作对 象 主要 针对 四 个 方面 : 
' 针对 守护 进程 的 系统 资源 设置 和 全 局 信息 的 获取 。 比 如 : docker info、docker deamon 等 。 
“ 针对 Docker 仓 库 的 查询 、 下 载 操作 。 比 如 : docker search、docker pull。 


“ 针对 Docker 镜 像 的 查询 、 创 建 、 删 除 操作 。 比 如 : docker images、docker build。 





党 


叶 Docker 容 器 的 查询 、 创 建 、 开 启 、 停 止 操作 。 比 如 : docker ps、docker run。 
































Docker 指 令 除了 单条 使 用 外 ， 还 支持 赋值 、 解 析 变量 、 赃 套 等 使 用 。 

















比如 : 








例 1: 获取 容器 的 ID， 并 根据 ID 提交 到 仓库 。 用 到 了 赋值 、 解 析 变 量 功能 。 














$ ID=$ (docker run -d ubuntu echo hello world) 
hello world 

$ docker commit $ID helloworld 

fd08a884dc79 




















例 2: 删除 所 有 停止 运行 的 容器 (使 用 需 谨 慎 ! ) ， 用 到 了 Docker 指 令 谋 套 功 能 。 














docker rm $ (docker ps -a -q) 





4.1.3 ”Docker 的 组 织 结构 














从 计算 机 整个 软件 层面 来 看 ， 从 操作 系统 层 到 应 用 软件 层 ，Docker 到 | 底 处 于 什么 位 置 呢 ? 




















的 接口 来 完成 资源 分 配 与 相互 隔离 。 

















回 

















通过 图 4-2， 我 们 可 以 看 出 ，Docker 位 于 操作 系统 和 虚拟 容器 (Ixc 或 libcontainer) 之 上 。 它 会 通过 调用 cgropu、namesapces 和 libcontainer 等 系统 层 





Docker 










这 mw 诈 ER 
IsSPpawa 










Linux 


cgroups namespaces netlink 


selinux netfilter 





capabilities | 
apparmor 


图 4-2 Docker 在 Linux 系 统 中 的 位 置 


我 们 再 通过 图 4-3 看 看 Docker 内 部 的 组 织 结构 。 





docker build 


Docker daemon 
Images 


docker pull 


docker run 





图 4-3 ”Docker 内 部 的 组 织 结构 





在 一 台 主 机 上 ， 首 先 要 启动 一 个 守护 进程 (Docker Daemon) ， 所 有 的 容器 都 被 守护 进程 控制 ， 同 时 守护 进程 监听 并 接收 Docker 客 户 端 (Docker Client) 指令 ， 并 把 执行 结果 返回 给 Docker 客 户 














其 实 ，Docker 的 组 织 结构 比较 复杂 ， 上 面 的 两 幅 图 仅仅 是 大 体 的 描述 ， 省 略 了 很 多 细节 ， 这 里 是 为 了 更 有 助 于 我 们 初步 理解 Docker 的 组 织 结构 。 





4.2 10 分 钟 的 动手 教程 








理解 Docker 最 好 的 方法 是 动手 实践 ， 在 Docker 运 行 环境 中 直观 地 体验 Docker 的 各 类 基本 操作 和 常用 指令 的 用 法 。 




















Docker 官 方 原来 有 一 个 Web 版 的 Docker 模 拟 运行 环境 ， 提 供 一 个 10 分 钟 的 动手 教程 ， 让 初学 者 快速 了 解 Docker 是 如 何 工作 的 。 这 个 教程 非常 棒 ， 但 不 知 什么 原因 ， 这 个 教程 后 来 撤 掉 了 。 好 在 我 们 已 
经 搭建 好 了 Docker 的 实际 运行 环境 ， 不 需要 官方 的 Web 模 拟 环境 。 在 这 里 ， 我 把 这 个 教程 重新 展示 给 大 家 看 ， 大 家 可 以 在 Docker 的 实际 运行 环境 下 跟着 操作 。 

















这 个 教程 的 主要 内 容 为 : 

: 列 出 Docker 的 版 本 号 。 

“ 在 Docker 的 官方 镜像 仓库 ， 搜 索 别人 已 经 制作 好 的 Docker 镜 像 。 

: 下 载 镜像 ， 并 以 这 个 镜像 为 模板 ， 在 Docker 容 器 中 运行 一 个 shell 命 令 ， 输 出 “hello world”。 

“ 在 Docker 容 器 中 安装 ping 软 件 包 ， 把 它 提交 为 新 镜像 。 

. 基于 安装 有 ping 软 件 的 新 镜像 为 模板 ， 在 Docker 容 器 中 测试 ping 命 令 工作 是 否 正常 。 

“ 如 果 测 试 ping 命 令 工 作 正常 ， 说 明 安 装 有 ping 软 件 的 镜像 制作 正确 ， 然 后 ， 我 们 就 把 这 个 新 镜像 提交 到 Docker 官 方 镜像 仓库 ， 分 享 给 大 家 使 用 。 


首先 进入 教程 的 引导 页 面 ， 如 图 4-4 所 示 。 











elcome to the interactive Docker tutorial 
lyou@tutorial:~$ 目 


Docker Engine parts Docker 模拟 运行 环境 


The Docker Engine consists of two parts: a daemon, a 
server process that manages all the containers, and a 
client, which acts as a remote control for the daemon. 


eck which version of Docker is running. This will 
erify that the daemon is running and that you can 
onnect to it. if you can see the version number you 
now YOU are all set. 


ry typing docker to see the full list of accepted 
arguments. This emulator provides only a limited set of 
shell and Docker commands, so some commands may 
ot work as expected. 





图 4-4 教程 的 页 面 布局 











这 个 教程 做 得 很 棒 ， 在 网 页 的 左 人 出， 看 完 任务 描述 (Assignment) ， 如 果 不 知道 如 何 操作 的 话 ， 可 以 根据 下 面 的 提示 (Tips) 来 做 ， 如 果 看 完 提 示 还 是 不 知道 如 何 操作 ， 还 可 以 单 击 “show the 
answer” 前 的 “? ” ， 显 示 答 案 。 在 网 页 右 侧 是 Docker 的 模拟 运行 环境 ， 用 来 验证 我 们 的 操作 是 否 可 以 完成 网 页 左 侧 指定 的 任务 。 如 果 完 成 任务 ， 在 网 页 的 右上 角 会 有 “NEXT” 按 钮 ， 单 击 进入 下 一 个 环 


Er 
DD。 








好 的 ， 接 下 来 ， 我 们 就 跟着 网 站 的 引导 ， 一 步 一 步 地 学 习 这 个 教程 吧 。 


步骤 0: 查询 Docker 的 版 本 号 





Docker 的 引擎 有 两 部 分 组 成 : Daemon 和 Client。Daemon 是 Service 端 的 守护 进程 ， 接 收 Client 端 指令 ， 管 理 本 机 上 所 有 的 镜像 和 容器 ; Client 是 通过 Docker 命 令 和 Daemon 交 互 ， 对 Docker 的 镜像 
和 容器 进行 查询 、 添 加 、 修 改 、 启 动 、 停 止 等 操作 。 


任务 : 找 出 Client 是 通过 哪个 Docker 命 令 查询 Docker 的 版 本 号 。 
提示 : 在 命令 行 输入 docker 列 出 Docker 支 持 的 所 有 命令 关键 字 。 然 后 再 找 出 哪个 命令 可 以 输出 版 本 号 。 


在 右 侧 Docker 的 模拟 环境 中 ,我们 执行 Docker 命 令 ， 显示 如 下 内 容 。 





you@tutorial:~$ docker 

Usage: Docker [OPTIONS] COMMAND [arghttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/...] 
-H="127.0.0.1:4243": Host:port to bind/connect to 

A self-sufficient runtime for linux containers. 

Commands: 


attach Attach to a running container 

build Build a container from a Dockerfile 

commitCreate a new image from a container's changes 

diff Inspect changes on a container's filesystem 

export Stream the contents of a container as a tar archive 

history Show the history of an image 

images List images 

import Create a new filesystem image from the contents of a tarball 
info Display system-wide information 


insertInsert a file in an image 
inspect Return low-level information on a container 
killKill a running container 


login Register or Login to the Docker registry server 

logsFetch the logsof a container 

port Lookup the public-facing port which is NAT-ed to PRIVATE PORT 
ps List containers 

pull Pull an image or a repository from the Docker registry server 
push Push an image or a repository to the Docker registry server 
restart Restart a running container 

rm Remove a container 

rmi Remove an image 

run Run a command in a new container 

search Search for an image in the Docker index 


StartStart a stopped container 
stopStop a running container 


tag Tag an image into a repository 
versionShow the Docker version information 
wait Block until a container stops, then print its exit code 














我 们 可 以 看 到 Docker 命 令 的 基本 用 法 为 : docker+ 选 项 + 命令 关键 字 + 参 数 ， 其 中 ， 选 项 和 参数 是 可 选 的 。 格 式 如 下 : 

















Docker [OPTIONS] COMMAND [arghttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/...] 








在 Docker 支 持 的 命令 关键 字 中 ， 有 version 这 个 关键 字 ， 用 来 显示 Docker 的 版 本 信息 。 这 正 是 我 们 需要 的 命令 。 在 网 页 右 侧 Docker 的 模拟 运行 环境 输入 docker version， 显 示 如 下 内 容 。 





youQ@tutorial:~$ docker version 
Docker Emulator version0.1.3 
Emulating: 

Client version: 0.5.3 

Server version: 0.5.3 

Go version: gol.1 


在 网 页 的 右上 角 ， 弹 出 “next”， 说 明 我 们 已 经 成 功 完成 这 个 任务 ， 单 击 “next” 进 入 下 一 个 任务 。 
@ 注 意 
* 这 个 版 本 Docker 只 是 一 个 模拟 环境 仅仅 为 了 配合 本 教程 使 用 ， 并 没有 实现 Docket 的 全 部 命令 。 


“ 这 个 模拟 环境 Docker 与 命令 关键 字 之 间 只 允许 有 一 个 空格 ， 两 个 或 两 个 以 上 的 空格 识别 不 出 来 。 


步骤 1: 查询 镜像 











Docker 官 方 镜像 仓库 (Docker Hub Registry) 储存 着 大 量 的 Docker 化 的 应 用 镜像 ， 我 们 可 以 基于 Docker 官 方 仓库 的 镜像 来 创建 我 们 的 应 用 。Docker 支 持 通过 Client 端 的 命令 来 查询 Docker 官 方 仓 库 














中 镜像 。 








任务 : 用 Docker 的 Client 端 命令 查询 一 个 名 字 叫 “tutorial” 的 镜像 。 








提示 : Docker 查 询 镜 像 的 命令 格式 为 docker search<string>。 








我 们 要 从 Docker 官 方 镜像 仓库 查询 一 个 名 字 叫 “tutorial” 的 镜像 ， 在 右 人 出 Docker 的 模拟 环境 中 ， 我 们 执行 docker search tutorial 命 令 ， 显 示 如 下 内 容 。 


you@tutorial:~$ docker search tutorial 

Found 1 results matching your query ("tutorial") 

NAME. DESCRIPTION 

learn/tutorial An image for the interactive tutorial 





我 们 查 到 一 个 全 名 为 “learn/turorial” 的 Docker 镜 像 。 在 Docker 官 方 镜像 仓库 ， 镜 像 的 全 名 都 是 如 下 格式 : 








<username>/<repository> 



































这 是 因为 ， 每 个 用 户 都 可 以 在 Docker 官 方 镜像 仓库 注册 自己 的 账户 ， 发 布 自己 的 Docker 镜 像 ， 使 用 “用 户 名 + 镜像 名 ”的 命名 方式 ， 可 以 让 不 同 用 户 拥有 相同 的 镜像 名 而 不 相互 干扰 。 
































这 时 ， 在 网 页 的 右上 角 ， 弹 出 “next”， 单 击 进入 下 一 个 任务 。 


步骤 2: 下 载 镜像 








在 上 一 步 ， 我 们 已 经 查询 到 “learn/turorial” 镜 像 。 接 下 来 我 们 就 需要 从 Docker 官 方 镜像 仓库 中 下 载 这 个 镜像 。Docker 提 供 docker pull 命 令 来 下 载 镜像 。 


任务 : 下 载 tutorial 镜 像 。 














提示 : 下 载 时 不 要 忘记 使 用 镜像 的 全 名 ， 如 “learn/turorial 





在 右 侧 Docker 的 模拟 环境 中 ， 我 们 执行 docker pull learn/turorial 命 令 ， 显 示 如 下 内 容 。 





you@tutorial:~$ docker pull learn/tutorial 

Pulling repository learn/tutorial from https://index.docker.io/vi 

Pulling image 8dbd9e392a964056420e5d58ca5cc376efl8e2de93b5cc90e868albbc8318clc (prec 
ise) from ubuntu 

Pulling image b750fe79269d2ec9a3c593ef05b4332bldla02a62b4accb2c21d589ff2f5f2dc (12.1 
0) from ubuntu 

Pulling image 27cf784147099545 () from tutorial 








可 以 看 到 ，Docker 的 镜像 正在 被 下 载 。 这 时 ， 在 网 页 的 右上 角 ， 弹 出 “next”， 单 击 进入 下 一 个 任务 。 


步骤 3: 创建 并 启动 容器 


我 们 下 载 了 Docker 镜 像 ， 就 可 以 以 Docker 镜 像 为 模板 ， 启 动容 器 。 可 以 把 容器 理解 为 在 一 个 相对 独立 环境 中 运行 一 个 (组 ) 进程， 这 个 独立 环境 拥有 这 个 (组 ) 进程 运行 所 需要 的 一 切 ， 包 括 文件 系 


统 、 库 文件 、shell 脚 本 等 。 





任务 : 运行 下 载 的 “learn/turorial” 镜 像 ， 输 出 “hello world″”。 为 了 做 到 这 点 ， 需 要 在 容器 中 运行 shell 命 令 “echo” ，echo 的 内 容 是 “hello world”. 








提示 : docker run 命 令 用 来 创建 和 运行 Docker 容 器 。 它 至 少 需要 两 个 参数 ， 一 个 是 镜像 名 ， 一 个 是 在 容器 中 需要 运行 的 命令 











根据 提示 ， 我 们 明确 了 docker run 的 两 个 参数 ， 镜 像 名 为 “learn/turorial”， 在 容器 中 需要 运行 的 命令 为 echo"hello world"。 在 右 人 出 Docker 的 模拟 环境 中 ， 我 们 执行 docker run learn/tutorial 


echo"hello world "命令 ， 显 示 如 下 内 容 。 





you@tutorial:~$ docker run learn/tutorial echo "hello world" 
hello world 








可 以 看 到 ，“hello world” 正 确 地 输出 了 。 在 网 页 的 右上 角 ， 弹 出 “next”， 单 击 进入 下 一 个 任务 。 


步骤 4: 修改 容器 















































接 下 来 ， 我 们 要 在 容器 中 安装 一 个 实用 工具 ping， 由 于 镜像 是 基于 Ubuntu 操作 系统 构建 的 ， 所 以 可 以 通过 在 容器 中 运行 apt-get install-y ping 来 安装 ping 工 具 。 一 旦 ping 软 件 包 安装 完毕 ， 容 器 会 立 
刻 停止 运行 ， 但 容器 中 安装 的 软件 包 会 一 直 保 留 。 


任务 : 在 基于 “learn/tutorial” 镜 像 的 容器 中 安装 ping 软 件 包 。 




















提示 : 在 非 交互 模式 下 安装 软件 包 ， 不 要 忘 了 使 用 “-y”。 











在 步骤 3 中 ， 我 们 知道 使 用 docker run 可 以 创建 容器 ， 并 在 容器 中 运行 指定 的 命令 。 在 右 侧 的 模拟 环境 ， 我 们 输入 “docker run learn/tutorial apt-get install-y ping”， 得 到 如 下 输出 。 














you@tutorial:~$ docker run learn/tutorial apt-get install -y ping 
Reading package listshttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 
Building dependency treehttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 
The following NEW packages will be installed: 
iputils-ping 
0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded. 
Need to get 56.1 kB of archives. 
After this operation, 143 kB of additional disk space will be used. 
Get:1 http://archive.ubuntu.com/ubuntu/ precise/main iputils-ping amd64 3:20101006 
-lubuntul [56.1 kB] 
debconf: delaying package configuration, since apt-utils is not installed 
Fetched 56.1 kB in 1s (50.3 kB/s) 
Selecting previously unselected package iputils-ping. 
(Reading database http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/...7545 files and directories currently installed.) 
Unpacking iputils-ping (from http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/.../iputils-ping 3%3a20101006-1lubuntul amdé 
Setting up iputils-ping (3:20101006-lubuntul) http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 








在 网 页 的 右上 角 ， 有 一 个 弹 窗 ， 告 诉 我 们 在 Baselmage 上 已 经 安装 了 ping 程 序 包 ， 已 经 改变 了 文件 系统 ， 但 还 未 保存 。 在 弹 窗 最 下 方 有 “next” 按 钮 ， 单 击 进入 下 一 个 任务 。 


步骤 5: 创建 新 镜像 














由 


在 上 一 步 已 经 安装 了 ping 程 序 包 ， 你 可 能 想 保存 这 个 变更 ， 以 便于 以 后 启动 容器 时 不 需要 重复 安装 ping 程 序 包 。Docker 支 持 在 原 有 镜像 基础 上 ， 只 提交 增 量 修改 部 分 ， 形 成 一 个 新 镜像 。 以 后 使 有 
新 镜像 为 模板 启动 容器 ， 容 器 中 就 会 存在 ping 软 件 包 ， 不 需要 重复 安装 。 




















任务 : 首先 用 dockerps-1 找 到 安装 过 ping 包 的 容器 的 ID 号 ， 然 后 把 这 个 容器 提交 为 新 镜像 ， 镜 像 名 为 “learn/ping”。 














提示 : 使 用 docker commit 把 容器 提交 为 新 镜像 。 








在 右 侧 的 模拟 环境 ， 我 们 首先 输入 dockerps-l， 显 示 本 机 上 的 所 有 容器 ， 得 到 如 下 内 容 。 





you@tutorial:~$ docker ps -1 

ID IMAGE COMMAND CREATED 

STATUS PORTS 

6982a9948422 ubuntu:12.04 apt-get install ping 1 minute ago 
Exit 0 





可 以 看 到 ， 这 个 容器 的 COMMAND 为 “apt-get install ping”， 这 正 是 我 们 刚才 安装 过 ping 的 容器 ， 容 器 ID 为 6982a9948422。 有 了 容器 ID， 我 们 就 可 以 通过 这 条 命令 “docker 
commit6982a9948422learn/ping”， 把 容器 提交 为 新 镜像 ， 在 右 侧 的 模拟 环境 ， 执 行 结 果 如 下 所 示 。 





you@tutorial:~$ docker commit 6982a9948422 learn/ping 
effb66b31ledb 





可 以 看 到 ， 执 行 结果 是 一 个 新 ID， 这 个 ID 就 是 新 生成 镜像 的 ID。 我 们 单 击 “next” 进 入 下 一 个 任务 。 


步骤 6: 使 用 新 镜像 





我 们 基于 容器 生成 了 新 的 镜像 ， 这 个 镜像 包含 ping 软 件 包 。 然 后 这 个 新 镜像 就 可 以 运行 在 任何 装 有 Docker 引 擎 的 机 器 上 。 


任务 : 在 基于 新 镜像 的 容器 中 执行 pngwww.dockercom 这 条 指令 。 











提示 : 新 镜像 要 使 用 全 名 learn/ping。 








在 右 侧 的 模拟 环境 ， 执 行 docker run learn/ping pingwww.docker.com， 执 行 结果 如 下 所 示 。 


you@tutorial:~$ docker run learn/ping ping www.google.com 

PING www.google.com (74.125.239.129) 56(84) bytesof data. 

64bytesfrom nuq05s02-in-f£20.1e1l00.net (74.125.239.148) : icmp req=1 ttl=55time=2 
:23 ms 

64bytesfrom nuq05s02-in-f20.1e100.net (74.125.239.148) : icmp req=2 ttl=55time=2 
.30 ms 

64bytesfrom nuq05s02-in-f20.1e100.net (74.125.239.148) : icmp req=3 ttl=55time=2 
.27 ms 

64bytesfrom nuq05s02-in-f20.1e100.net (74.125.239.148) : icmp req=4 ttl=55time=2 
.30 ms 














可 以 看 到 ， 容 器 中 已 经 存在 ping 命 令 ， 执 行 pingwww.google.com 可 以 得 到 预期 的 结果 。 使 用 Ctrl-C 终 止 ping 命 令 。 单 击 “next” 进 入 下 一 个 任务 。 








步骤 7: 查询 容器 信息 














使 用 docker ps 可 以 看 到 本 机 上 所 有 正在 运行 的 容器 ， 使 用 docker inspect 可 以 看 到 单个 容器 详细 信息 。 





























任务 : 找 出 正在 运行 容器 的 ID 号 ， 然 后 使 用 docker inspect 查 看 容器 的 信息 。 























提示 : 可 以 使 用 容器 ID 来 指定 容器 ， 也 可 以 只 使 用 容器 ID 的 前 3~4 个 字符 来 指定 。 














在 右 侧 的 模拟 环境 下 ， 首 先 执行 docker ps 查看 正在 运行 的 容器 ， 可 以 查 到 容器 的 ID， 内 容 如 下 : 





you@tutorial:~$ docker ps 


ID IMAGE COMMAND CREATED 
STATUS PORTS 
efefdc74algd5 learn/ping:latest ping www.google.com37 seconds ago 


Up 36 seconds 














根据 提示 ， 我 们 可 以 使 用 容器 ID 的 前 3~4 个 字符 来 指定 容器 。 在 模拟 环境 中 ， 执 行 docker inspect efe， 可 以 得 到 如 下 结果 。 














you@tutorial:~$ docker inspect efe 
[2013/07/3001:52:26 GET /v1.3/containers/efef/json 


{ 

"ID": "efefdc74ald5900d7d7a74740e5261c09f5f42b6dae58ded6alfdelcde7f4ac5", 
"Created": "2013-07-30T00:54:12.4171197362", 

"Path": "ping", 

"Args": [ 

"Www .google.com" 


’ 
ToomEilog ef 


"Hostname" : 
nUsern: mn, 
"Memory": 0, 
"MemorySwap": 0, 
"CpuShares": 0, 


"efefdc74ald5", 


"AttachStdin": false, 
"AttachStdout": true, 
"AttachStderr": true, 
"PortSpecs": null, 
"Tty": false, 
"OpenStdin" : false, 


"Stdinonce": false, 
"Env": null, 
Cn [ 
"ping", 
"WWW .google .com" 

’ 
"Dns": null, 
"Image": "learn/ping", 
"Volumes": null, 
"VolumesFrom": "", 
"Entrypoint": null 


}, 
"State": { 
"Running": true, 
"Pid": 22249, 


"ExitCode": 0, 
"StartedAt": "2013-07-30T00:54:12.4248177152", 


"Ghost": false 

}, 
"Image": "aldbb48ce764c6651f5af98b46ed052a5f751233d731b645a6c57f91a4cb7158", 
"NetworkSettings": { 
"IPAddress": "172.16.42.6", 
"IPPrefixLen": 24, 
"Gateway": "172.16.42.1", 
"Bridge": "dockerO", 
"PortMapping": { 
"Tcp": {}, 
"Udp": {} 


}, 
"SysInitPath": "“/usr/bin/docker", 
"ResolvConfPath": "/etc/resolv.conf", 
"Volumes": {}, 
"VolumesRW": {} 








至 此 ， 可 以 看 到 容器 的 完整 ID、 运 行 状态 、 网 络 设置 、 镜 像 等 信息 。 单 击 “next” 进 入 下 一 个 任务 。 


步骤 8: 把 新 镜像 上 传 仓库 











在 步骤 6 和 步骤 7 中 ， 我 们 已 经 验证 了 新 构建 的 镜像 learn/ping 可 以 正常 工作 ， 现 在 我 们 想 把 这 个 新 镜像 分 享 给 别人 使 



































learn/tutorial 就 可 以 直接 使 用 了 吗 ? 如 果 把 新 镜像 learn/ping 上 传 到 Docker 官 方 仓库 ， 就 可 以 像 learn/tutorial 一 样 供 别 人 下 载 后 直接 使 









































任务 : 把 新 镜像 learn/ping 推 送 到 Docker 官 方 镜像 仓库 。 














提示 : docker images 可 以 显示 当前 主机 上 所 有 的 镜像 。docker push 可 以 推送 本 机 的 镜像 到 Docker 官 方 仓库 。 这 个 模拟 器 已 经 以 learn 这 个 


间 下 。 


在 右 侧 的 模拟 环境 中 ， 先 执行 docker images 查 看 本 机 的 镜像 列表 ， 可 以 得 到 如 下 内 容 。 











户 登录 了 ， 所 以 我 们 


bl: 
只 能 


， 该 如 何 做 呢 ? 还 记得 我 们 最 初 是 从 Docker 的 官方 镜像 仓库 下 载 了 


把 镜像 推送 到 learn 这 个 名 字 空 





you@tutorial:~$ docker images 


ubuntu latest 8dbd9e392a96 4 months ago 
131.5 MB (virtual131.5 MB) 

learn/tutorial latest 8dbd9e392a96 2 months ago 
131.5 MB (virtual131.5 MB) 

learn/ping latest effb66b31ledb 10 minutes ago 
11.57 MB (virtual143.1 MB) 








其 中 ，learn/ping 是 我 们 新 构建 的 镜像 ， 执 行 docker push learn/ping 把 镜像 推送 到 Docker 官 方 仓库 。 





这 就 是 整个 教程 。 通 过 这 个 教程 ， 我 们 可 以 快速 掌握 Docker 的 基本 命令 。 


@@ 注 意 


步骤 8， 在 模拟 环境 中 已 经 以 learn 这 个 用 户 登 录 了 ， 可 以 直接 进行 上 传 操作 。 但 我 们 自己 搭建 的 Docker 运 行 环境 并 没有 登录 ， 所 以 上 传 会 失败 。 在 https://hub.docker.com/account/signup/ 上 注册 一 个 


Docker Hub 的 账号 ， 使 用 dokcer login 登 录 就 可 以 做 上 传 操作 了 。 不 过 后 续 还 会 详细 讲 Docker Hub， 步 又 8 可 以 先 跳 过 。 


4.3 “本章 小 结 


本 章 主要 介绍 了 Docker 的 基本 概念 和 组 织 结构 ， 以 及 Docker 指 令 的 格式 和 用 法 ， 最 后 ， 通 过 一 个 动手 练习 的 教程 ， 加 深 了 大 家 对 Docker 指 令 
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法 的 理解 。 





. 第 11 章 ，Docker 插 件 开发 


第 5 章 ”Docker 容 器 管理 








上 一 章 我 们 学 习 了 Docker 命 令 的 基本 用 法 ， 这 一 章 ， 我 们 就 结合 第 3 章 的 例子 来 讲 一 下 Docker 容 器 的 管理 。 














5.1 单一 容器 管理 

















我 们 在 第 3 章 启动 了 三 个 服务 项 目 : WordPress (个 人 博客 ) 、GitLab (版 本 控制 ) 和 Redmine (项 目 流程 管理 ) 。 通 过 docker ps 可 以 看 到 已 经 启动 Docker 容 器 ， 可 以 看 到 每 个 容器 的 ID 号 、 所 使 
的 Docker 镜 像 、 创 建 时 间 、 当 前 状态 、 监 听 的 端口 和 容器 的 名 字 等 ， 如 图 5-1 所 示 。 


























65C359dCC692 村 7 0.0: . 《 
See24103ascf h” 2 9 : ~> MyWor dPr 


actdeae4 niredis: Latest r t : p gitlab-r 
9f3b71b70 5 bn/postgresq 昌 2 5 7 9gitLeb-pos 
ccl8S3cfecbc5 Ladb 3 po EM 2 days ago Up 2 days 3396/tcp db 





还 记得 WordPress 启 动 的 两 条 指令 吗 ? 





$ docker run --name db --env MYSQL ROOT PASSWORD=example -d mariadb 
$ docker run --name MyWordPress --link db:mysql -p 8080:80 -d wordpress 








通过 --name 参 数 创建 了 两 个 Docker 容 器 : db 和 MyWordPress,， 在 








5-1 中 可 以 很 快 找到 这 两 个 容器 和 查 到 它们 的 运行 状态 。 另 外 ， 可 以 看 到 每 个 容器 都 有 一 个 CONTAINER ID。 


[ 





5.1.1 “容器 的 标示 符 


每 个 容器 被 创建 后 ， 都 会 分 配 一 个 CONTAINER 1D 作 为 容器 的 唯一 标示 ， 后 续 对 容器 的 启动 、 停 止 、 修 改 和 删除 等 所 有 操作 ， 都 是 通过 CONTAINER ID 来 完成 的 ，CONTAINER ID 有 点 儿 像 数据 库 的 
FE 键 。CONTAINER ID 默认 是 128 位 ， 但 对 于 大 多 数 主机 来 说 ，1D 的 前 16 位 就 足以 保证 其 在 本 机 的 唯一 性 。 所 以 ， 默 认 情 况 下 我 们 使 用 CONTAINER ID 简略 形式 即 可 (1D 的 前 16 位 ) 。 使 用 docker ps 可 以 
查 到 CONTAINER ID 简略 形式 ， 如 果 需 要 查询 完整 的 CONTAINER ID， 使 用 docker ps--no-trunc。 


















































CONTAINER ID 简略 形式 如 下 : 





0ee24103a5cf 





CONTAINER ID 完整 形式 如 下 : 





0ee24103a5cf7d4a703edfc148c10a7dqb84156ca6008b53c2c22d4901b28bf61 





有 了 CONTAINER ID， 我 们 就 可 以 通过 Docker 的 相关 指令 启动 和 停止 容器 了 。 





比如 : 对 于 CONTAINER ID 为 0ee24103a5cf 的 容器 ， 通 过 下 面 命令 查 到 容器 的 状态 是 “Up2days”， 说 明 容 器 正 处 于 运行 阶段 : 








docker ps -a |grep 0ee24103a5cf 


通过 下 面 命令 来 停止 容器 运行 ， 再 次 查看 容器 状态 ， 变 为 “Exited (0) 2seconds ago”， 说明 容 器 已 停止 运行 。 








docker stop 0ee24103a5cf 





如 果 再 次 把 容器 启动 ， 容 器 状态 就 变更 为 “Up22seconds”， 说 明 容器 又 启动 起 来 了 。 





docker start 0ee24103a5cf 


CONTAINER ID 虽然 能 保证 唯一 性 ， 但 很 难 记忆 。 在 创建 容器 时 ， 可 以 同 --name 参 数 给 容器 起 一 个 别名 ， 如 MyWordPress， 然 后 通过 别名 来 代 蔡 CONTAINER ID 对 容器 进行 操作 。 比 如 


docker start MyWordPress 





5.1.2 ”查询 容器 信息 


通过 docker inspcet 命 令 可 以 查询 容器 的 所 有 基本 信息 ， 包 括 运行 情况 、 存 储 位 置 、 配 置 参 数 、 网 络 设置 等 。 





Usage: docker inspect [OPTIONS] CONTAINER|IMAGE [CONTAINER|IMAGEhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/...] 
$ docker inspect MyWordPress 
[ 


{ 
"Id": "0ee24103a5cf7d4a703edfc148c10a7db84156ca6008b53c2c2294901b28bf61", 
"Created": "2016-02-14T03:00:34.0793756282Z", 
"Path": "/entrypoint.sh", 
"Args": [ 
"apache2-foreground" 

], 

"state": 1{ 
"Status": "running", 
"Running": true, 
"Paused": false, 
"Restarting": false, 


"OOMKilled": false, 

"Dead": false, 

"pid": 29964, 
": 0, 





Wk 5 F 
"StartedAt": "2016-02-16T03:23:00.13512662", 
"FinishedAt": "2016-02-16T03:07:04.3593972992" 





ks 
"Image": "sha256:313affca71ld71838d0bc0fa32d3£f582728ae510865a797441a2bc95b001622f2", 
"ResolvConfPat "/var/lib/docker/containers/0ee24103a5cf7d4a703edfc148c1l0a7db84156ca6008b53c2c224d4901b28bf61/resolv.conf", 
"HostnamePath": "/var/lib/docker/containers/0ee24103a5cf7d4a703edfc148cl0a7db84156ca6008b53c2c2294901b28bf61/hostname", 
"HostsPath": "/var/lib/docker/containers/0ee24103a5cf7d4a703edfc148cl0a7db84156ca6008b53c2c22d4901b28bf61/hosts", 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 











docker inspcetl 人 JSON 的 格式 展示 非常 丰富 的 信息 ， 通 过 “-f” 可 以 使 用 Golang 的 模板 来 提取 指定 部 分 的 信息 。 





比如 提取 容器 的 运行 状态 : 





$ docker inspect -f {{.State.Status}} MyWordPress 
running 





提取 容器 的 IP 地 址 : 





$ docker inspect -f {{.NetworkSettings.IPAddress}} MyWordPress 
T12617:045 


























除了 容器 的 基本 信息 外 ， 容 器 的 日 志 也 是 我 们 经 常 需要 查看 的 。 使 用 docker logs 来 查询 日 志 。 





$ docker logs MyWordPress 

WordPress not found in /var/www/html - copying nowhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 

Complete! WordPress has been successfully copied to /var/www/html 

RAH00558: apache2: Could not reliably determine the server's fully qualified domain name, using 172.17.0.5. Set the 'ServerName' directive globally to suppress this message 
RAH00558: apache2: Could not reliably determine the server's fully qualified domain name, using 172.17.0.5. Set the 'ServerName' directive globally to suppress this message 

[Sun Feb 14 03:00:37.453842 2016] [mpm prefork:notice] [pid 1] AH00163: Apache/2.4.10 (Debian) PHP/5.6.18 configured -- resuming normal operations 

[Sun Feb 14 03:00:37.453863 2016] [core:notice] [pid 1] AH00094: Command line: "apache2 -D FOREGROUND' 

192.168.10.102 - - [14/Feb/2016:03:00:58 +0000] "GET / HTTP/1.1" 302 413 "-""Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.3; WOW64; Trident/7.0; .NET4.0E; .NET4.0C; InfoPatr 
192.168.10.102 - - [14/Feb/2016:03:00:58 +0000] "GET /wp-admin/install.php HTTP/1.1" 200 3669 "-""Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.3; WOW64; Trident/7.0; .NET4.C 











如 果 需 要 实时 打印 最 新 的 日 志 ， 可 以 加 上 “-f” 参 数 。 








另外 ， 我 们 还 可 以 通过 docker stats 命 令 实时 查看 容器 所 占用 的 系统 资源 ， 如 CPU 使 用 率 、 内 存 、 网 络 和 磁盘 开销 。 

















$ docker stats MyWordPress 
CONTAINER CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK IVO 
MyWordPress 0.00% 17.94 MB / 4.061 GB 0.44% 4.966 kB / 1.426 kB 0B /16.38 kB 





| 


则 。 


.3 ”容器 内 部 命令 














经 常 有 登入 Docker 容 器 内 部 执行 命令 的 需求 ， 可 以 在 容器 中 启动 sshd 服 务 来 响应 用 户 登录 。 但 sshd 方 式 存在 进程 开销 和 增加 被 攻击 的 风险 ， 同 时 也 违反 Docker 所 倡导 的 “一 个 容器 一 个 进程 ”的 原 

















Docker 提 供 了 原生 的 方式 支持 登入 容器 docker exec， 使 用 形式 如 下 : 














docker exec+ 容 器 名 + 容器 内 执行 的 命令 





比如 要 查看 MyWordPress 容 器 内 启动 了 哪些 进程 ， 执 行 的 命令 和 结果 如 下 : 





$ docker exec MyWordPress ps aux 
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND 


root 1 0.0 0.7 313684 31208 ? Ss Febl6 0:04 apache2 -DFOREGROUND 
www-data 59 0.0 0.1 313716 7824 ? S Feb1l6 0:00 apache2 -DFOREGROUND 
www-data 60 0.0 0.1 313716 7824 ? S Feb16 0:00 apache2 -DFOREGROUND 
www-data 61 0.0 0.1 313716 7824 ? S Feb16 0:00 apache2 -DFOREGROUND 
www-data 62 0.0 0.1 313716 7824 ? S Feb16 0:00 apache2 -DFOREGROUND 
www-data 63 0.0 0.1 313716 7824 ? S Feb16 0:00 apache2 -DFOREGROUND 
root 164 0.0 0.0 17500 2064 ? Rs 07:18 0:00 ps aux 





如 果 希 望 在 容器 内 连续 执行 多 条 命令 ， 可 以 加 上 “-it” 参数， 就 相当 于 以 root 身 份 登入 容器 内 ， 可 以 连续 执行 命令 ， 执 行 完成 后 通过 “exit” 退 出 。 








harney@UShenzhou:~$ docker exec -it MyWordPress /bin/bash 
root@0ee24103a5cf:/var/www/html# pwd 


/var/www/html 
root@0ee24103a5cf:/var/www/html# 1s 
index.php readme.html wp-admin wp-comments-post .php 


wp-config.php wp-cron.php wp-links-opml.php wp-login.php wp-settings.php wp-trackback.php 
license.txt wp-activate.php wp-blog-header.php wp-config-sample.php 


wp-content wp-includes wp-load.php wp-mail.php wp-signup.php 
xmlrpc .php 

root@0ee24103a5cf:/var/www/html# exit 

exit 


harney@UShenzhou: ~$ 





5.2 ”多 容器 管理 


Docker 倡 导 的 理念 是 “一 个 容器 一 个 进程 ”， 假 如 一 个 服务 由 多 个 进程 组 成 ， 就 需要 创建 多 个 容器 组 成 一 个 系统 ， 相 互 分 工 和 配合 来 对 外 提供 完整 的 服务 。 
比如 ， 我 们 的 博客 系统 由 两 部 分 组 成 : 


“ Apache Web 服 务 器 ， 用 于 提供 Web 站 点 和 与 用 户 交 互 。 





Mariadb 数 据 库 ， 用 于 存储 用 户 注册 信息 、 个 性 化 配置 和 博客 等 数据 。 











我 们 通过 两 条 docker run 指 令 创建 并 启动 了 数据 库容 器 (db) 和 Apache 容 器 (MyWrodpress) 。 这 两 个 容器 之 间 需 要 有 数据 交互 ， 在 同一 台 主 机 下 ，docker run 命 令 提 供 “--link” 选 项 建立 容器 间 














的 互联 。 但 有 一 个 前 提 条 件 ， 使 用 “--link containerA” 创 建 容器 B 时 ， 容 器 A 必须 已 经 创建 并 且 启 动 运行 。 所 以 容器 启动 是 按 顺 序 的， 容器 A 先 于 容器 B 启 动 。 




















对 于 博客 系统 WordPress， 数 据 库 容器 (db) 要 先 于 Apache 容 器 (MyWordpress) 启动 。 所 以 ， 启 动 WordPress 的 方式 应 该 是 : 





docker start db 
docker start MyWordPress 





如 果 停 止 WordPress 服 务 ， 则 需要 先 停止 Apache 容 器 (MyWordpress) ， 再 停止 数据 库容 器 (db) ， 或 同时 停止 这 两 个 容器 。 





docker stop db MyWordPress 











对 于 GitLab 系 统 ， 它 有 三 个 容器 ， 就 要 同时 考虑 三 个 容器 的 优先 顺序 ， 并 按 这 个 顺序 启动 。 假 如 有 更 多 容器 ， 维 护 就 会 变 得 比较 烦琐 ， 有 没有 简洁 的 方式 呢 》 下 一 节 给 出 答案 。 


5.2.1 Docker Compose 


没 



































Docker 提 供 一 个 容器 编排 工 Docker Compose， 它 允许 用 户 在 一 个 模板 (YAML 格 式 ) 中 定义 一 组 相关 联 的 应 用 容器 ， 这 组 容器 会 根据 配置 模板 中 的 “--link” 等 参数 ， 对 启动 的 优先 级 自动 排 
简单 执行 一 条 “docker-compose up”， 就 可 以 把 同一 个 服务 中 的 多 个 容器 依次 创建 和 启动 。 


























Docker Compose 的 安装 方式 如 下 : 





sudo curl -L https://github.com/docker/compose/releases/download/1.6.0/docker-compose- “uname -s‘-‘uname -m” > /usr/local/bin/docker-compose 
sudo chmod +x /usr/local/bin/docker-compose 























我 们 看 看 如 何 使 用 Docker Compose 来 管理 WordPress 项 目 。 














首先 ,我 们 把 WordPress 项 目 原 有 的 两 个 容器 停 掉 。 


docker stop db MyWordPress 





接着 ,创建 一 个 项 目 文件 夹 ~/wordpress， 在 文件 夹 下 创建 一 个 名 字 叫 docker-compose.yml 的 文件 ， 内 容 如 下 : 





wordpress: 
image: wordpress 
links: 
- db:mysql 
ports: 
— 8080:80 
db: 
image: mariadb 
environment: 
MYSQL ROOT PASSWORD: example 











这 个 配置 文件 中 创建 了 两 个 容器 wordpress 和 db， 使 用 image 选 项 来 指定 两 个 容器 分 别 使 用 wordpress 和 mariadb 镜 像 ， 另 外 有 选项 links、ports、environment 分 别 对 应 docker run 中 “-- 





links” (容器 互联 ) 、“-p” (端口 映射 ) 和 “-e” (环境 变量 设置 ) 。 











然后 就 可 以 通过 docker-compose up 命令 来 创建 和 启动 WordPress 服 务 。 





$ cd ~/wordpress &&docker-compose up 

Creating wordpress db 1 

Creating wordpress WordPress 1 

Attaching to wordpress db 1, wordpress WordPress 1 

WordPress 1 | WordPress not found in /var/www/html - copying nowhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 


dp1 | Initializing database 
db 1 | 2016-02-18 12:41:46 140467523413952 [Note] /usr/sbin/mysqld (mysqld 10.1.11-MariaDB-1~jessie) starting as process 56 http://www.hzcourse.com/resource/readBook?pat 
qdb 1 | 2016-02-18 12:41:46 140467523413952 [Note] InnoDB: Using mutexes to ref count buffer Pool pages 





通过 另外 一 个 命令 行 终端 ， 输 出 docker ps 查看 容器 是 否 启动 。 





CONTAINER ID IMAGE NAMES 
0e2ca95e8672 wordpress http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... wordpress_WordPress 1 


d324e92ae9a5 mariadb http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... wordpress_dk 











可 以 看 出 ， 容 器 的 CONTAINER ID 和 NAME 都 与 原来 的 不 同 ， 说 明 是 新 创建 了 一 组 容器 。 容 器 已 经 启动 起 来 ， 通 过 http://ip:8080 可 以 正常 访问 页 





回 
日 








后 续 对 个 人 博客 项 目的 启动 和 停止 就 变 得 非常 简单 了 。 


启动 命令 : 





$ docker-compose start 
Starting wordpress db 1 
Starting wordpress WordPress 1 





停止 命令 : 


$ docker-compose stop 
Stopping wordpress WordPress 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... done 


Stopping wordpress db 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... done 








可 以 看 出 ， 启 动 和 停止 的 顺序 已 经 被 docker-compose 智 能 管理 起 来 了 。 启 动 时 先 启动 数据 库容 器 (wordpress_db_1) ， 再 启动 Apache 容 器 (wordpress WordPress 1) 。 停 止 时 先 停止 Apache 容 


器 (wordpress_WordPress_ 1) ， 再 停止 数据 库容 器 (wordpress db 1) 。 


@@ 注 意 


虽然 Docker Compose 可 以 判断 容器 间 的 依赖 并 生成 正确 的 启动 顺序 ， 但 这 种 顺序 仅仅 是 容器 的 顺序 ， 假 如 容器 A 的 进程 4 依赖 容器 B 的 进程 bp， 但 进程 b 启 动 需要 耗费 很 长 时 间 的 话 ， 这 时 虽然 容器 B 先 于 容 


器 A 创建 和 启动 ， 但 进程 ?仍然 可 能 和 进程 不 能 正常 交互 而 启动 失败 ， 因 为 虽然 容器 B 已 启动 但 进程 b 还 没完 全 启动 完成 。 在 这 种 情况 下 ，Docker Compose 无 能 为 力 ， 需 要 进程 4 自行 增加 一 些 判 断 等 待 和 重 试 机 
制 。 














上 面 我 们 使 用 docker-compose up 命令 创建 和 启动 一 组 新 的 容器 来 为 NordPress 服 务 。 原 来 由 docker run 创 建 的 容器 如 何 处 理 呢 ?建议 删除 。 


通过 docker ps 命令 只 能 列 出 已 经 启动 的 容器 ， 如 果 想 查 到 已 停止 运行 的 容器 ， 需 要 在 docker ps 命令 后 加 上 “-a” 选 项 。 





$ docker ps -a 


CONTAINER ID IMAGE STATUS NAMES 
0ee24103a5cf wordpress Exited (0) 12 hours ago MyWordPress 
db 


ccl83cfecbc5 mariadb Exited (0) 12 hours ago 








我 们 可 以 看 到 这 两 个 容器 的 状态 是 Exited (退出 ) ， 通 过 docker rm 命令 可 以 删除 它们 。 删 除 前 确保 容器 内 没有 重要 数据 。 





docker rm MyWordPressdb 





5.2.2 ”配置 文件 





使 用 Docker Compose 管 理 多 个 容器 ， 首 先 需要 把 多 容器 写 到 它 的 配置 文件 中 ， 默 认 配 置 文件 名 为 docker-compose.yml， 我 们 可 以 通过 “-f” 选 项 指定 配置 文件 。 

















下 面 我 们 再 看 看 GitLab 和 Redmine 项 目的 多 容器 写成 Docker Compose 配 置 文件 的 形式 。 














GitLab 项 目 需要 三 个 容器 : postgresql、redis 和 gitlab。 


postgresql 容 器 创建 和 启动 的 命令 为 : 








docker run --name gitlab-postgresql -d \ 
--env 'DB NAMFE=gitlabhq production' \ 
--env 'DB USER=gitlab' --env 'DB_PASS=password' \ 
sameersbn/postgresql:9.4-12 








它 使 用 sameersbn/postgresql: 9.4-12 镜 像 创建 了 一 个 名 字 为 gitlab-postgresq| 的 容器 ， 并 且 设 置 了 三 个 环境 变量 。 转 换 为 Docker Compose 配 置 文 件 内 容 如 下 : 














postgresql: 
image: sameersbn/postgresql:9.4-12 
environment: 
- DB USER=gitlab 
— DB_PASS=password 
- DB NAME=gitlabhq production 








redis 容 器 创建 和 启动 的 命令 为 : 





docker run --name gitlab-redis -d sameersbn/redis:latest 











使 用 sameersbn/redis: latest 镜 像 创 建 一 个 名 字 为 gitlab-redis 的 容器 ， 转 换 为 Docker Compose 配 置 文 件 内 容 如 下 : 











redis: 
image: sameersbn/redis:latest 





gitlab 容 器 的 创建 和 运行 的 命令 为 : 





docker run --name gitlab -d \ 
--link gitlab-postgresql:postgresql --link gitlab-redis:redisio \ 
--publish 10022:22 --publish 10080:80 \ 
=--env 'GITLAB PORT=10080' --env 'GITLAB SSH PORT=10022' \ 
—-env 'GITLAB SECRETS DB KEY BASE=long-and-random-alpha-numeric-string' \ 
sameersbn/gitlab:8.4.4 






































当 有 多 个 环境 变量 需要 设置 时 ， 用 docker run 命 令 需要 多 次 重复 “--env” 选 项 ， 很 烦琐 。 由 于 Docker Compose 的 配置 文件 使 用 YAML 格 式 的 语法 ， 支 持 数组 格式 ， 所 以 这 条 命令 转化 为 Docker 























Compose 的 配置 文件 就 会 很 简洁 ， 转 换 后 内 容 如 下 : 





gitlab: 

image: sameersbn/gitlab:8.4.4 
links: 

~- redis;redisio 

— postgresql:postgresql 
ports: 

— "10080:80" 

= "10022:22" 
environment: 

— GITLAB PORT=10080 

- GITLAB SSH PORT=10022 





创建 一 个 项 目 ~/gitlab， 把 上 面 三 部 分 的 Docker Compose 配 置 文件 合并 在 一 起 ， 放 到 ~/gitlab/docker-compose.yml。 然 后 ， 通 过 下 面 的 命令 创建 和 启动 GitLab 服 务 。 在 创建 新 容器 之 前 ， 先 把 原来 


的 旧 容 器 删除 。 





删除 旧 容 器 ， 使 用 “-f” 参数 可 以 强制 把 正在 运行 的 容器 删除 。 删 除 前 确保 容器 内 没有 重要 数据 ， 如 果 有 重要 数据 ， 通 过 docker exec-it ContainerName 命 令 登入 容器 内 部 处 理 ， 容 器 的 数 所 











续 章 节 会 详细 讲解 。 





居 备 份 在 后 





docker rm -f gitlab gitlab-redis gitlab-postgresql 





启动 新 容器 组 。 


$ cd ~/gitlab/ && docker-compose up -d 
Creating gitlab redis 1 

Creating gitlab postgresql 1 

Creating gitlab gitlab 1 





通过 docker ps 可 以 查 到 gitlab_gitlab_1、gitlab_postgresql_1 和 gitlab_redis_1 这 三 个 容器 ， 通 过 http://ip:10080 可 以 访问 。 


对 于 Redmine 项 目的 改造 步骤 如 下 : 





首先 ， 删 除 旧 的 容器 ,确保 容器 内 没有 重要 数据 。 








docker rm -f redmine postgresql-redmine 





接着 ,把 docker run 创 建 容器 的 指令 改造 为 Docker Compose 的 配置 文件 。 





docker run --name=postgresql-redmine -d \ 
--env='DB_NRME=redmine Production' \ 
--env='DB_ USER=redmine" --env='DB PASS=password' \ 
sameersbn/postgresql:9.4-12 

docker run --name=redmine -d \ 
--link=postgresql-redmine:postgresql --publish=10083:80 \ 
-env="'REDMINE PORT=10083' \ 
sameersbn/redmine:3.2.0-4 





创建 配置 文件 ~/redmine/docker-compose.yml， 内 容 如 下 : 


postgresql: 
image: sameersbn/postgresql:9.4-12 
environment: 
— DB NAME=redmine production 
- DB_USER=redmine 
- DB_PASS=password 
redmine: 
image: sameersbn/redmine:3.2.0-4 
links: 
— postgresql:postgresql 
ports: 
— "10083:80" 
environment: 
— REDMINE PORT=10083 


执行 新 容器 组 的 创建 和 启动 。 


$ docker-compose up -d 
Creating redmine postgresql 1 
Creating redmine redmine 1 





最 后 ， 通 过 http://ip:10083 就 可 以 访问 网 站 。 





好 了 ,我 们 已 经 把 个 人 博客 (WordPress) 、 版 本 控制 管理 (GitLab) 、 项 目 流程 管理 (Redmine) 转换 为 由 Docker Compose 来 管理 ， 可 以 很 方便 地 把 多 个 容器 划 为 一 个 项 目 统一 管理 。 一 个 项 目 一 
个 配置 文件 ， 通 过 配置 文件 (用 “-f” 选 项 指定 ) ， 就 可 以 对 该 项 目 中 的 容器 进行 查询 、 启 动 、 停 止 等 操作 。 









































查询 GitLab 项 目的 所 有 容器 状态 : 





$ docker-compose -f gitlab/docker-compose.yml ps 





Name Command State Ports 
gitlab gitlab 1 /sbin/entrypoint.sh app:start Up 0.0.0.0:10022->22/tcp, 443/tcp, 0.0.0.0:10080->80/tcp 
gitlab postgresql 1 /sbin/entrypoint.sh Up 5432/tcp 
gitlab redis 1 /sbin/entrypoint.sh Up 6379/tcp 
停止 GitLab 项 目 : 





$ docker-compose -f gitlab/docker-compose.yml stop 

Stopping gitlab gitlab 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... done 
Stopping gitlab postgresql 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach : ebook/uncompressed/15950/0EBPS/Text/.. . done 
Stopping gitlab redis 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... done 





启动 GitLab 项 目 : 





$ docker-compose -f gitlab/docker-compose.yml start 
Starting gitlab redis 1 

Starting gitlab postgresql 1 

Starting gitlab gitlab 1 


删除 项 目 


$ docker-compose -f gitlab/docker-compose.yml down 

Stopping gitlab gitlab 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... done 
Stopping gitlab postgresql 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... done 
Stopping gitlab redis 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... done 
Removing gitlab gitlab 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... done 
Removing gitlab postgresql 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... done 
Removing gitlab redis 1 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... done 


5.3 ”本 章 小结 











本 章 主 要 介绍 了 容器 管理 的 常用 命令 ， 主 要 包括 容器 状态 的 查询 、 创 建 、 启 动 、 停 止 、 销 毁 和 执行 内 部 命令 等 。 然 后 扩展 到 通过 Docker Compose 来 管理 多 个 容器 。 














第 6 章 “”Docker 镜 像 管理 











上 一 章 我 们 介绍 了 如 何 对 单个 或 多 个 容器 进行 管理 ， 主 要 针对 容器 的 状态 查询 、 启 动 、 停 止 等 操作 ， 没 有 涉及 容器 内 部 配置 文件 的 修改 和 存储 及 容器 的 跨 节 点 部 署 或 迁移 。 主 要 是 因为 Docker 有 一 个 重 
要 概念 还 没 细 讲 ， 这 就 是 Docker 镜 像 。 镜 像 是 Docker 的 精 瞻 ， 只 有 了 解 Docker 镜 像 ， 才 算 真 正 理解 Docker 的 内 涵 。 











6.1 认识 Docker 镜 像 




















我 们 创建 容器 时 需要 指定 使 用 哪个 镜像 。 比 如 ， 下 面 的 命令 就 是 使 用 镜像 sameersbn/redis: latest 创 建 容器 ， 它 先 从 本 机 查找 有 没有 sameersbn/redis: latest 镜 像 ， 如 果 不 存在 ， 就 去 官方 的 Docker 























Hub 仓 库 查 找 并 下 载 到 本 机 ， 然 后 基于 该 镜像 创建 容器 。 





docker run--name gitlab-redis-d sameersbn/redis: latest 





新 容器 创建 后 ， 不 依赖 镜像 就 可 以 运行 。 如 果 为 了 节省 存储 空间 ， 可 以 手工 删 掉 ， 默 认 不 会 自动 删除 ， 因 为 该 镜像 还 有 可 能 用 于 创建 其 他 新 镜像 。 通 过 docker images 命 令 可 以 查 到 本 机 已 有 的 所 有 镜 
像 。 








$ docker images -a 


REPOSITORY TAG IMAGE ID CREATED SIZE 
wordpress latest 313affca71d7 8 days ago 517.3 MB 
sameersbn/gitlab 8.4.4 9d1069e2b30c 8 days ago 720.5 MB 
mariadb latest lb6ea3e0ff8e 3 weeks ago 346.4 MB 
sameersbn/redmine 商人 Ra | 7eb43870e9c7 4 weeks ago 636 MB 
sameersbn/postgresql 9.4-12 al00f2al8ec3 4 weeks ago 231.3 MB 
sameersbn/redis latest ad448e848573 4 weeks ago 196.5 MB 
hello-world latest 690ed74de00f 4 months ago 960 B 








每 个 镜像 都 有 唯一 的 标示 Image ID， 这 个 和 容器 的 Container ID 一样， 默认 128 位 ， 可 以 使 用 前 16 位 缩 略 形式 ， 也 可 以 使 用 镜像 的 名 字 (REPOSITORY) 和 版 本 号 (TAG) 两 部 分 组 合 唯一 标示 。 如 果 
省 略 版 本 号 ， 默 认 使 用 最 新 版 本 (latest) 。 











镜像 的 分 层 


在 上 一 节 ， 通 过 docker images 我 们 看 到 每 个 镜像 的 大 小 (SIZE) 都 很 大 ( 几 百 兆 ) ， 那 么 这 些 镜像 所 占 磁 盘 的 存储 空间 是 否 就 是 所 有 镜像 大 小 之 和 吗 ?” 实 际 上 ， 镜 像 所 占 的 磁盘 空间 远 远 小 于 所 有 镜 
像 之 和 ， 原 因 是 Docker 镜 像 采 用 分 层 机 制 ， 相 同 部 分 独立 成 层 ， 只 需要 存储 一 份 就 可 以 了 ， 大 大 节省 了 镜像 空间 。 比 如 ，wordpress 和 mariadb 都 是 基于 Ubuntu14.04 系 统 构建 的 ， 那 么 只 需要 一 个 
Ubuntu14.04 的 镜像 分 层 ， 在 此 基础 上 再 根据 wordpress 和 mariadb 各 自 不 同 部 分 构建 各 自 的 独立 分 层 ， 如 图 6-1 所 示 。 












































WordPress 镜像 MariaDB 镜像 


mariadb 
应 用 层 wordpress 





Ubuntu14.04 





图 6-1 镜像 的 分 层 图 





Docker 的 镜像 通过 联合 文件 系统 (union filesystem) 将 各 层 文件 系统 芭 加 在 一 起 ， 在 用 户 看 来 就 像 一 个 完整 的 文件 系统 。 假 如 ， 某 个 镜像 有 两 层 ， 第 一 层 有 三 个 文件 夹 ， 第 二 层 有 两 个 文件 夹 ， 使 用 
联合 文件 系统 重 加 后 ， 用 户 可 以 看 到 五 个 文件 夹 ， 感 觉 不 到 分 层 的 存在 ， 如 图 6-2 所 示 。 


第 二 层 镜像 





用 户 视 角 
/data /svr 


/bin /dev /mnt 
第 一 层 镜像 /data /svr 





/bin /dev /mnt 


图 6-2 ”用户 的 视角 看 分 层 文件 系统 








通过 docker history 命 令 可 以 查询 镜像 分 了 多 少 层 ， 每 一 层 具体 做 了 什么 操作 ， 如 图 6-3 所 示 。 














harney@UShenzhou:~$ docker history sameersbn/redis 

IMAGE CREATED CREATED BY 

ad448e848573 weeks ago /bin/sh -c #(nop) ENTRYPOINT &{["/sbin/entryp 
<missing> weeks ago /bin/sh -c #(nop) VOLUME [/var/lib/redis] 
<missing> weeks ago /bin/sh -c #(nop) EXPOSE 6379/tcp 

<missing> weeks ago /bin/sh -c chmod 755 /sbin/entrypoint.sh 
<missing> weeks ago /bin/sh -c #(nop) COPY file:fbcfof32514d052d3 
<missing> weeks ago /bin/sh -c apt-get update && DEBIAN FRONTEND 
<missing> weeks ago /bin/sh -c #(nop) ENV REDIS USER=redis REDIS_ 
<missing> weeks ago /bin/sh -c #(nop) MAINTAINER sameer@damagehea 
<missing> weeks ago /bin/sh -c echo 'APT::Install-Recommends 0; 
<missing> weeks ago /bin/sh -c #(nop) MAINTAINER sameer@damagehea 
<missing> weeks ago /bin/sh -c #(nop) CMD ["/bin/bash"] 

<missing> weeks ago /bin/sh -c sed -i 's/^#\s*\(deb,*universe\)$/ 
<missing> weeks ago /bin/sh -c echo '#!/bin/sh' > /usr/sbin/polic 
<missing> weeks ago /bin/sh -c #(nop) ADD file:7ce20ce3daa6af21db 


[| 


SO oD a es 


PO 
Oo 
大大 
三 四 四 
WO 


PP 
PRPPOONOONPPOOOUN 


Co WO- 
sw 
院 环 
四 四 


图 6-3 ”镜像 各 分 层 具体 操作 


可 以 看 到 sameersbn/redis 镜 像 有 14 层 ， 每 一 层 做 的 操作 可 以 从 CREATED BY 看 到 。 如 果 操 作 的 内 容 显示 不 完全 ， 可 以 在 docker history 后 面 加 “--tree” 选 项 打印 出 完整 的 内 容 。 像 sameersbn/redis 


镜像 


肯定 需要 安装 Redis 软 件 ， 加 上 “--tree” 选项 后 我 们 从 CREATED BY 列 可 以 查 到 redis-server 安 装 和 配置 的 语句 ， 如 图 6-4 所 示 。 





<missing> 4 weeks ago /bin/sh -c apt-get update && DEBIAN_F 
RONTEND=noninteractive [apt-get install -Y redis-server] && sed 's/^daemonize yes/daemonize no/' -i Vetc/redis/redis.conT] && sed 's/ 
~bind 127.0.0.1/bind 0.0.0.0/' -i /etc/redis/redis.conf && sed ‘'s/’# unixsocket /unixsocket /' -i /etc/redis/redis.conf &é& sed 's/ 
^# unixsocketperm 755/unixsocketperm 777/' -i /etc/redis/redis.conf && sed '/^logfile/d' -i /etc/redis/redis.conf && rm -rf /var/\ 








ib/apt/lists/* 


图 6-4 镜像 中 软件 安装 和 配置 的 命令 


对 于 分 层 的 Docker 镜 像 有 两 个 特性 : 一 个 是 已 有 的 分 层 只 能 读 不 能 修改 ， 另 外 一 个 是 上 层 镜像 的 优先 级 高 于 底层 镜像 。 


这 里 举 一 个 例子 来 解释 下 原因 ， 镜 像 B 和 镜像 C 都 是 在 镜像 A 的 基础 上 搭建 起 来 的 ， 镜 像 A 有 一 个 文件 a.txt， 内 容 为 “hello world”。 从 用 户 的 视角 ， 镜 像 B 和 镜像 C 都 可 以 看 到 文件 atxt， 内 容 都 
是 “hello world”。 这 时 ,镜像 B 想 修改 文件 a.txt 内 容 为 “hello docker”， 如 果 我 们 允许 直接 对 镜像 A 中 的 文件 a.txt 进 行 修改 ， 那 么 镜像 C 看 到 a.txt 内 容 也 随 之 变 为 “hello docker”， 对 于 镜像 C 来 说 ， 
这 是 一 个 不 可 接受 的 错误 。 所 以 ， 已 有 的 分 层 都 不 能 修改 ， 如 果 要 修改 ， 只 能 通过 在 镜像 B 的 基础 上 新 增加 一 个 分 层 B'， 存 储 修改 后 的 a.txt， 利 用 “上 层 镜 像 的 优先 级 高 于 底层 镜像 ”的 原则 ， 新 增 分 层 B' 的 
a.txt 会 覆盖 原 有 镜像 A 的 a.txt。 从 用 户 的 视角 ， 就 会 看 到 修改 后 的 a.txt 的 内 容 “hello docker” ， 而 镜像 C 还 是 看 到 原 有 的 a.txt， 内 容 为 “hello world”， 如 图 6-5 所 示 。 























用 户 看 到 hello docker hello world 


镜像 B' 
修改 文件 a.txt 


优 








图 6-5 ”从 用 户 的 视角 看 分 层 文件 的 修改 


从 镜像 B 如 何 修改 文件 a.txt， 生 成 镜像 B' 呢 ? 


在 回答 这 个 问题 之 前 ， 先 回头 看 一 下 如 何 用 分 层 的 概念 描述 Docker 容 器 。 我 们 知道 ， 容 器 是 在 镜像 的 基础 上 创建 的 ， 从 文件 系统 的 角度 来 讲 ， 它 是 在 分 层 镜像 的 基础 上 增加 一 个 新 的 空白 分 层 ， 这 个 新 





分 层 是 可 读 写 的 ， 如 图 6-6 所 示 。 
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Image 





图 6-6 ”容器 的 分 层 示意 











新 创建 的 容器 启动 后 是 可 写 的 。 所 有 的 写 操作 都 会 存储 在 最 上 面 的 可 读 写 层 。Docker 容 器 可 以 通过 docker commit 命 令 提交 生成 新 镜像 。 
对 于 上 面 提 到 的 问题 : 从 镜像 B 如 何 修改 文件 a.txt， 生 成 镜像 B'。 
步骤 如 下 : 


首先 ， 基 于 镜像 B 创 建 一 个 新 容器 M1。 








其 次 ， 在 容器 M1 中 修改 文件 a.txt 的 内 容 。 


最 后 ， 通 过 docker commit 命 令 提交 生成 新 的 镜像 B'。 
































上 面 我 们 讲述 了 通过 对 容器 的 可 写 层 修改 ， 来 生成 新 镜像 。 但 这 种 方式 会 让 镜像 的 层 数 越 来 越 多 ， 达 到 联合 文件 系统 所 允许 的 最 多 层 数 (aufs 最 多 支持 128 层 ) ; 另外 一 种 情况 ,许多 上 层 的 应 用 镜像 
都 基于 相同 的 底层 基础 镜像 ， 一 旦 基础 镜像 需要 修改 ， 比 如 ， 底 层 镜像 安装 有 glibc 库 ， 该 库 突然 爆 出 一 个 安全 漏洞 ， 需 要 升级 ， 而 基于 它 的 上 层 应 用 镜像 成 干 上 万 ， 如 果 每 一 个 上 层 镜 像 都 通过 容器 的 方式 
生成 新 镜像 ， 那 么 维护 工作 量 太 大 了 。 那 还 有 没有 更 好 的 方式 来 维护 更 新 Docker 镜 像 呢 ? 答案 是 Dockerfile。 






































6.2 Dockerfile 














Linux 环 境 下 的 程序 员 都 应 该 使 用 过 GNU make 来 构建 和 管理 自己 的 工程 。 使 用 GNU 的 make 工 具 能 够 比较 方便 地 构建 一 个 属于 你 自己 的 工程 ， 整 个 工程 的 编译 只 需要 一 个 命令 就 可 以 完成 编译 、 连 接 
以 至 于 最 后 的 执行 。 不 过 这 需要 我 们 投入 一 些 时 间 去 完成 一 个 称 为 Makefile 文 件 的 编写 。 











Makefile 文 件 中 描述 了 整个 工程 所 有 文件 的 编译 顺序 、 编 译 规则 。Makefile 有 自己 的 书写 格式 、 关 键 字 、 函 数 。 其 中 包括 : 工程 中 的 哪些 源 文件 需要 编译 以 及 如 何 编译 、 需 要 创建 哪些 库 文件 以 及 如 何 
创建 这 些 库 文件 、 如 何 最 后 产生 我 们 想 要 的 可 执行 文件 。 尽 管 看 起 来 可 能 是 很 复杂 的 事情 ， 但 是 ， 为 工程 编写 Makefile 的 好 处 是 一 旦 提供 一 个 正确 的 Makefile， 就 能 够 使 用 一 行 命令 来 完成 “自动 化 编 
译 ”。 编 译 整个 工程 所 要 做 的 唯一 的 一 件 事 就 是 在 shell 提 示 符 下 输入 make 命 令 。 整 个 工程 完全 自动 编译 ， 极 大 提高 了 效率 。 












































Docker 提 供 了 和 Makefile 完 全 一 样 的 机 制 来 管理 镜像 ， 这 就 是 Dockerfile。 


Dockerfile 语 法 








在 讲解 Dockerfile 语 法 之 前 ， 先 来 看 看 我 们 前 面 使 用 的 一 个 镜像 (sameersbn/redis) 的 Dockerfile 文 件 的 内 容 。 

















FROM sameersbn/ubuntu:14.04.20160121 
MAINTAINER sameer@damagehead.com 
ENV REDIS USER=redis \ 

REDIS DATA DIR=/var/lib/redis \ 

REDIS LOG DIR=/var/log/redis 
RUN apt-get update \ 
&& DEBIAN FRONTEND=noninteractive apt-get install -y redis-server \ 
&& sed 's/^daemonize yes/daemonize no/' -i /etc/redis/redis.conf \ 
&& sed 's/^bind 127.0.0.1/bind 0.0.0.0/' -i /etc/redis/redis.conf \ 
&& Sed 's/^# unixsocket /unixsocket /' -i /etc/redis/redis.conf \ 
&& Sed 's/^# unixsocketperm 755/unixsocketperm 777/' -i /etc/redis/redis.conf \ 
&& sed '/^logfile/d' -i /etc/redis/redis.conf \ 
&& rm -rf /var/lib/apt/lists/* 
COPY entrypoint.sh /sbin/entrypoint.sh 
RUN chmod 755 /sbin/entrypoint.sh 
EXPOSE 6379/tcp 
VOLUME ["${REDIS DATA DIR}"] 
ENTRYPOINT ["/sbin/entrypoint.sh"] 











从 这 个 例子 我 们 看 到 Dockerfile 的 语法 规则 : 每 行 都 以 一 个 关键 字 为 行 首 ， 如 果 一 行内 容 过 长 ， 它 使 用 “^\” 把 多 行 连接 到 一 起 。 





























第 一 行使 用 关键 字 FROM， 它 表示 新 的 镜像 是 从 sameersbn/ubuntu: 14.04.20160121 这 个 基础 镜像 开始 构建 的 ，sameersbn/ubuntu: 14.04.20160121 是 它 的 最 底层 镜像 。 





MAINTAINER: 指定 该 镜像 创建 者 。 

ENV: 设置 环境 变量 。 

RUN: 运行 shell 命 令 ， 如 果 有 多 条 命令 可 以 用 “&&” 连接 。 
COPY: 将 编译 机 本 地 文件 拷贝 到 镜像 文件 系统 中 。 


EXPOSE: 指定 监听 的 端口 。 





ENTRYPOINT: 这 个 关键 字 和 以 上 所 有 的 关键 字 是 有 区 别 的 ， 上 面 的 关键 字 都 是 在 构建 镜像 时 执行 ， 但 这 一 个 关键 字 是 欲 执行 命令 ， 在 创建 镜像 时 不 执行 ， 要 等 到 使 用 该 镜像 创建 容器 ， 


执行 的 命令 。 





简单 来 说 ， 对 于 sameersbn/redis 镜 像 来 说 ， 它 从 基础 镜像 sameersbn/ubuntu 开 始 创 建 ， 通 过 RUN 关 键 字 安装 redis-server， 命 令 如 下 : 


容器 启动 后 才 





RUN apt-get update \ 
&& DEBIAN FRONTEND=noninteractive apt-get install -y redis-server 


通过 ENTRYPOINT 关 键 字 指 定 将 来 创建 的 新 容器 使 用 /sbin/entrypoint.sh 来 启动 redis 服 务 。 脚 本 文件 entrypoint.sh 的 完整 内 容 参 考 https://github.com/sameersbn/docker- 
redis/blob/master/entrypoint.sh。 我 们 只 需 找 出 entrypoint.sh 中 启动 redis 服 务 的 那 条 语句 。 





if [[ -z ${1} ]]; then 
echo "Starting redis-serverhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/..." 
exec start-stop-daemon --start --chuid ${REDIS USER}:${REDIS USER} --exec $ (which redis-server) -- \ 
/etc/redis/redis.conf ${REDIS PASSWORD:+--requirepass $REDIS PASSWORD} ${EXTRA ARGS} 
else 
exec "S$@" 
£1i 





以 sameersbn/redis 为 例 ， 我 们 分 析 了 Dockerfile 基 本 语法 。 下 面 我 们 看 看 如 何 通 过 Dockerfile 编 译 生成 镜像 。 


先 创建 一 个 镜像 文件 image_redis， 把 这 一 小 节 开 头 的 内 容 放 入 image_redis/Dockerfile 文 件 下 ， 另 外 创建 一 个 image_redis/entrypoint.sh 文 件 ， 内 容 如 下 : 





#!/bin/bash 
dat “a 
REDIS_ PASSWORD=$ {REDIS PASSWORD:—} 
map redis uid() { ee 
USERMAP ORIG UID=$ (id ~u redis) 
USERMAP ORIG GID=$ (id -g redis) 
USERMAP GID=5{ USERMAP GID:-${USERMAP UID:-$USERMAP ORIG GID}} 
USERMAP UID=$ {USERMAP UID:-$USERMAP ORIG UID} 
if [ "$TUSERMAP TIDhT != "${USERMAP ORIG 1 ; UID}™" ] || [ "${USERMAP GID}" != "${USERMAP ORIG GID}" ]; then 
echo "Adapting uid and gid for redis:redis to $USERMAP_UID: $USERMAP ( GID" 
groupmod -g "${USERMAP GID}" redis 
sed -i -e "s/:S{USERMAE ORIG UID} :${USERMAP GID}:/:${USERMAP UID}:${USERMAP GID}:/" /etc/passwd 
a 
} 
create socket dir() { 
mkdir -p /run/redis 
chmod -R 0755 /run/redis 
chown -R ${REDIS USER}:${REDIS USER} /run/redis 
} 
create data dir() { 
mkdir -p ${REDIS DATA DIR} 
chmod -R 0755 ${REDIS DATA DIR} 
chown -R ${REDIS USERY:${REDIS USER} ${REDIS DATA DIR} 


create log dir() { 
mkdir -P ${REDIS LOG DIR} 
chmod -R 0755 ${REDIS LOG DIR} 
Chown -R ${REDIS USER}:${REDIS USER} ${REDIS LOG DIR} 
} 
map_redis uid 
create socket dir 
create data dir 
create socket dir 
# allow arguments to be passed to redis-server 


iF [IE ${1:03T} = =" J then 
EXTRA_ARGS="$@" 
set — 
£1i 
# default behaviour is to launch redis-server 
if [[ -z ${1} ]]; then 
echo "Starting redis-serverhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/..." 
exec start-stop-daemon --start --chuid ${REDIS USER}:${REDIS USER} --exec $ (which redis-server) -- \ 
/etc/redis/redis.conf ${REDIS PASSWORD:+--requirepass $REDIS PASSWORD} ${EXTRA ARGS} 
else 
exec "S$@" 
ff 














然后 ， 用 docker build 命 令 编译 Dockerfile， 通 过 “-t” 选 项 给 镜像 起 一 个 名 字 ( 带 版 本 号 ) 。 








$ docker build -t image redis:v1.0 . 

Sending build context to Docker daemon 4.608 kB 
Step 1 : FROM sameersbn/ubuntu:14.04.20160121 
---> 4dc780eb0d90 

Step 2 : MAINTAINER sameer@damagehead.com 

---> Using cache 


=---> 5641bc665c06 

Step 3 : ENV REDIS USER redis REDIS DATA DIR /var/lib/redis REDIS LOG DIR /var/log/redis 
---> Using cache ee 
=- 一 -> 62058c3b1963 

Step 4 : RUN apt-get Update && DEBIAN FRONTEND=noninteractive apt-get install -y redis-server && sed 's/^daemonize yes/daemonize no/' -i /etc/redis/redis.conf && sed 's/^bir 
---> Using cache 

---> f08e7917d224 

Step 5 : COPY entrypoint.sh /sbin/entrypoint.sh 

=---> 74bd9a76c27b 

Removing intermediate container 452ba6152a61 

Step 6 : RUN chmod 755 /sbin/entrypoint.sh 

---> Running in 04d853e4384c 

---> c2778f2bfla9 

Removing intermediate container 04d853e4384c 

Step 7 : EXPOSE 6379/tcp 

---> Running :in 5f99c269417d 

---> 358281b67a60 

Removing intermediate container 5f99c269417d 

Step 8 : VOLUME ${REDIS DATA DIR} 

---> Running in ddOcb7dc7469 

---> dd8fqda457738 

Removing intermediate container dd0Ocb7dc7469 

Step 9 : ENTRYPOINT /sbin/entrypoint.sh 

---> Running in 4a30e014qc4f 

=---> £00930ed158b 

Removing intermediate container 4a30e014dc4f 

Successfully built f00930ed158b 








编译 过 程 有 九 步 (Step1~Step9) ， 每 一 步 对 应 Dockerfiel 的 一 个 关键 字 ， 每 执行 完 一 步 ， 都 会 生成 一 个 临时 镜像 ， 如 Step5 生 成 的 临时 镜像 的 ID 为 74bd9a76c27b。 


构建 完毕 ， 通 过 docker images 就 可 以 查 到 名 字 是 image_redis: v1.0 的 新 镜像 。 





$ docker images 
REPOSITORY TAG IMAGE ID CREATED SIZE 
image redis v1.0 £00930ed158b 12 minutes ago 196.5 MB 























有 了 新 镜像 ， 就 可 以 通过 docker run 命 令 创 建 和 使 用 新 容器 了 。 但 该 镜像 只 存在 于 编译 主机 ， 如 何 把 编译 好 的 镜像 分 发 给 其 他 机 器 使 用 呢 ? 这 需要 用 到 Docker 仓 库 中 转 ， 在 后 续 的 章节 会 介绍 。 






































有 了 Dockerfile 文 件 ， 维 护 镜像 就 很 简单 了 。 只 需要 修改 Dockerfile 的 某 条 语句 ， 通 过 docker build 重 新 构建 即 可 ， 另 外 还 可 以 通过 “-t” 选 项 指定 一 个 新 版 本 ， 可 以 很 方便 地 在 新 旧 两 个 版 本 间 快 速 切 





6.3 项目 中 的 镜像 分 层 








我 们 前 面 讲 过 三 个 项 目 : WordPress、GitLab 和 Redmine。 由 于 WordPress 没 有 公开 Dockerfile， 我 们 跳 过 不 谈 。 我 们 把 GitLab 和 Redmine 项 目 所 有 镜像 分 层 放 在 一 起 来 看 ， 就 会 发 现 一 些 有 意思 的 东 
西 ， 需 要 说 明 一 下 ， 这 两 个 项 目 都 是 由 同一 个 人 维护 的 。GitLab 和 Redmine 的 镜像 分 层 的 结构 如 图 6-7 所 示 。 

















GitLab 项 日 Redmine 项 目 





容器 1 容器 2 容 融 3 容 融 4 容器 5 








Sameersbn Sameersbn/ 
/redis postgresql 





sameersbn/ubuntu:14.04.20160121 





图 6-7 GitLab 和 Redmine 的 镜像 分 层 的 结构 


从 图 6-7 我 们 可 以 总 结 如 下 几 点 : 





“ 这 两 个 项 目 使 用 四 个 镜像 创建 五 个 容器 ， 这 四 个 镜像 都 是 基于 相同 的 基础 镜像 (sameersbn/ubuntu) ， 而 sameersbn/ubuntu 又 是 在 更 通用 的 Ubuntu 系 统 镜像 基础 上 制作 的 。 
“ 每 个 镜像 加 一 个 可 写 层 形成 容器 ， 多 个 容器 组 合 在 一 起 ， 对 外 提供 某 些 特殊 功能 的 服务 。 
“ 基于 同一 个 镜像 只 需要 增加 一 个 可 写 层 ， 就 可 以 为 不 同 项 目 创建 各 自 需要 的 容器 (容器 3 和 容器 4) 。 


对 我 们 的 启发 是 : 当 我 们 制作 自己 的 应 用 镜像 时 ， 也 尽量 考虑 使 用 相同 的 底层 镜像 ， 这 样 可 以 极 大 地 降低 后 续 维 护 的 成 本 。 我 们 根据 自己 的 实际 应 用 场景 选择 适合 自己 的 基础 镜像 ， 也 可 以 在 已 有 的 基 
础 镜像 上 改造 提交 新 镜像 作为 自己 项 目的 基础 镜像 。 但 有 些 时 候 ， 我 们 在 Docker Hub 上 实在 找 不 到 适合 自己 用 的 基础 镜像 ， 这 时 就 可 以 从 头 打造 一 个 完全 属于 自己 的 基础 镜像 。 





6.4 “定制 私有 的 基础 镜像 


从 6.2 节 我 们 知道 sameersbn/redis 镜 像 是 以 sameersbn/ubuntu:14.04.20160121 为 基础 镜像 进行 构建 的 ， 而 sameersbn/ubuntu:14.04.20160121 镜 像 又 是 以 ubuntu: trusty-20160217 为 基础 镜像 进 
行 构建 的 。 那 么 ubuntu : trusty-20160217 是 基于 什么 镜像 构建 的 呢 ? 我 们 想 知道 ， 最 基础 、 最 底层 的 镜像 又 是 如 何 构建 的 呢 ? 








使 用 debootstrap 工 具 ， 可 以 定制 自己 需要 的 最 小 化 的 Linux 基 础 镜像 ， 这 里 我 们 制作 了 一 个 Ubuntu14.04 的 基础 镜像 ， 并 把 系统 时 区 修改 为 东 八 区 (修改 时 区 只 是 举例 ， 其 实 可 以 修改 系统 的 任何 文 
件 ) 。 
































sudo apt-get install debootstrap 

sudo debootstrap --arch amd64 trusty ubuntu-trusty http://mirrors.163.com/ubuntu/ 
cd ubuntu-trusty 

sudo cp usr/share/zoneinfo/Asia/Shanghai etc/localtime 





提交 生成 基础 镜像 ， 名 字 为 ubuntu1404-baseimage: 1.0。 





cd ubuntu-trusty 
sudo tar -C .|docker import - ubuntul404-baseimage:1.0 





通过 docker images 可 以 查 到 新 创建 的 镜像 。 





$ docker ;images 
REPOSITORY TAG IMAGE ID CREATED SIZE 
ubuntu1404-baseimage 1 47f52695a5c6 43 seconds ago 228.3 MB 





我 们 新 创建 一 个 容器 ， 查 看 Ubuntu 的 系统 版 本 和 时 区 修改 是 否 成 功 (通过 date 命 令 核对 系统 时 间 是 否 正确 ) 。 





harney@UShenzhou:~/image redis/ubuntu-trusty$ docker run -t -i ubuntu1404-baseimage:1.0 /bin/bash 
rootec09bala54004:/# cat /etc/issue 

Ubuntu 14.04 LTS \n \1 

root@1b7b128888e9:/# date 

Sun Feb 21 17:29:12 CST 2016 




















这 样 我 们 就 制作 好 了 属于 自己 的 私有 镜像 。 我 们 的 应 用 层 的 镜像 就 可 以 在 该 镜像 的 基础 上 继续 扩展 了 。 








6.5 ”本章 小 结 


本 章 主要 分 析 了 Docker 镜 像 的 分 层 的 组 织 结构 和 背后 的 原理 ， 然 后 通过 举例 讲解 了 DockerFile 在 镜像 创建 和 修改 时 的 操作 ， 最 后 还 简单 介绍 了 如 何 定制 一 个 私有 的 基础 镜像 。 


第 7 章 ”Docker 仓 库 管 理 


前 面 已 经 介绍 了 Docker 的 容器 和 镜像 ， 本 章 就 详细 介绍 最 后 一 个 组 件 一 一 Docker 仓 库 ， 仓 库 主要 用 于 镜像 的 存储 ， 它 是 Docker 镜 像 分 发 、 部 署 的 关键 。 在 实际 应 
程序 镜像 ， 然 后 上 传 到 镜像 仓库 。Docker 守 护 进 程 再 从 仓库 拉 取 镜像 ， 然 后 运行 相应 的 镜像 。 

















我 们 可 以 使 用 官方 的 公有 仓库 Docker Hub， 也 可 以 搭建 自己 的 私有 仓库 来 存储 我 们 的 镜像 。 本 章 将 详细 讨论 这 两 种 方式 。 








7.1 ”镜像 的 公有 仓库 



































中 ， 由 开发 者 或 者 运 维 制作 好 应 




















目前 Docker 官 方 维护 了 一 个 公有 仓库 Docker Hub， 其 中 已 经 包括 了 超过 125? 000 个 公共 镜像 。 如 果 我 们 仅仅 需要 搜索 和 使 用 Docker Hub 的 公共 镜像 ， 不 需要 Docker Hub 账 户 就 可 以 直接 操作 。 但 














如 果 需 要 上 传 和 分 享 我 们 创建 的 镜像 ， 就 需要 Docker Hub 账 户 。 另 外 ，Docker Hub 还 支持 用 户 创建 私有 的 镜像 仓库 ， 用 于 私有 镜像 的 存储 和 跨 主机 部 署 。 


























7.1.1 创建 Docker Hub 账 户 














在 使 用 Docker Hub 之 前 ， 我 们 需要 先 创建 自己 的 账号 。 通 过 Web 界 面 https://hub.dockercom/， 输 入 用 户 名 、 邮 箱 和 密码 就 可 以 完成 注册 ， 然 后 通过 邮箱 激活 。 使 用 用 户 名 、 密 码 登录 后 界面 如 
1 所 示 。 
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Welcome to Docker Hub 过 


Here are a few things to get you started. 








7-1 Docker Hub 登 录 界 面 








在 命令 行 终端 也 可 以 通过 docker login 登 录 Docker Hub 账 户 。 


& hamey 


Private Repositories: Using 0 of 1 Gel more 
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Explore Reposltorles 








$ docker login 

Username: harney 

Password: 

Email: harney@hahabot .com 

WARNING: login credentials saved in /home/harney/.docker/config.json 
Login Succeeded 











登录 Docker Hub 后 ， 就 可 以 进行 搜索 、 下 载 和 上 传 镜像 等 基本 操作 了 。 


7.1.2 ”基本 操作 





在 第 6 章 ， 我 们 制作 了 一 个 定制 化 的 基础 镜像 ubuntu1404-baseimage: 1.0， 现 在 我 们 讨论 一 下 如 何 通过 Docker Hub 来 上 传 、 搜 索 、 下 载 该 镜像 。 


1. 上 传 镜像 


首先 通过 docker login 登 录 Docker Hub， 然 后 才能 上 传 镜像 。 上 传 镜像 通过 docker push 命 令 实现 。 





docker push ubuntu1404-baseimage:1.0 


2 .搜索 镜像 


我 们 可 以 执行 docker search 来 查找 Docker Hub 中 的 镜像 ， 可 以 通过 镜像 名 称 、 用 户 名 称 及 描述 信息 等 搜索 镜像 。 例 如 ， 我 们 搜索 与 centos 相 关 的 镜像 。 





# docker search centos 


NAME DESCRIPTION STARS OFFICIAL AUTOMATED 

centosThe official build of CentOS . 558 [OK] 

tianon/centos CentOs 5 and 6, created using rinse insteahttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 28 
ansible/centos7-ansible Ansible on Centos7 14 [OK]… 





可 以 看 到 返回 了 很 多 与 centos 相 关 的 镜像 ， 每 行 依次 为 镜像 名 称 、 描 述 信 息 、 星 级 (表示 该 镜像 的 受 欢迎 程度 ) 、 是 否 官方 创建 、 是 否 自动 创建 。 





3. 下 载 镜像 


执行 命令 docker pull， 可 以 从 Docker Hub 下 载 镜像 。 例 如 ， 我 们 下 载 官方 提供 的 CentOS 镜 像 。 





#docker pull centos 

Pulling repository centos 

0b443ba03958: Download complete 
539c0211cd76: Download complete 
511136ea3c5a: Download complete 
7064731afe90: Download complete 

Status: Downloaded newer image for centos 





7.2 ”私有 仓库 








对 于 个 人 来 说 ， 如 果 只 是 学 习 Docker，Docker Hub 就 足够 了 。 但 是 ， 如 果 想 构建 一 个 基于 Docker 的 PaaS 平 台 ， 使 用 Docker Hub 这 样 的 公共 仓库 可 能 不 方便 ， 原 因 如 下 : 
Docker 公 有 仓库 和 私有 仓库 基本 使 用 。 
“很 多 公司 的 IDC 环 境 是 无 法 访问 外 网 的 。 
“ 很 多 应 用 ， 考 虑 到 安全 因素 ， 将 程序 直接 放 到 公共 仓库 是 不 合适 的 。 











所 以 ， 我 们 有 必要 构建 自己 的 私有 仓库 。Docker 官 方 已 经 提供 了 docker-registry 组 件 ， 我 们 可 以 用 它 来 构建 我 们 自己 的 私有 镜像 仓库 。 





7.2.1 安装 qdocker-registry 





1. 使 用 镜像 方式 














Docker 官 方 提供 了 docker-registry 的 镜像 ， 我 们 可 以 直接 使 用 该 镜像 。 这 也 是 最 简单 的 方式 。 




















#docker run -p 5000:5000 registry 








执行 上 面 的 命令 ，Docker 会 自动 从 Docker Hub 拉 取 docker-registry 的 镜像 ， 然 后 启动 docker-registry 服 务 ，docker-registry 默 认 监听 5000 端 口 。 














可 以 通过 环境 变量 方式 “-e” 设 置 配置 参数 。 例 如 ， 如 果 docker-registry 想 使 用 Amazon S3 存 储 镜像 ， 可 以 执行 下 面 的 命令 : 








docker run \ 
-e SETTINGS FLAVOR=s3 NY 
-e AWS BUCKET=mybucket \ 
-e STORAGE PATH=/registry \ 
-e AWS KEY=myawskey \ 
-e AWS_ SECRET=myawssecret \ 
-e SEARCH BACKEND=sqlalchemy \ 
-p 5000:5000 \ 

registry 





详细 配置 参数 见 7.2.2 节 。 





2. 使 用 rpm 包 方式 


目前 ，EPEL (Fedora Extra Packages for Enterprise Linux) 中 已 经 包含 docker-registry 的 包 ， 我 们 可 以 直接 使 用 。 





安装 docker-registry: 





#yum install docker-registry-y 





启动 docker-registry: 





# servicedocker-registry start 

Starting docker-registry: [ OK |] 

# servicedocker-registry status 

docker-registry (pid 31079) is runninghttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 





默认 ，docker-registry 会 监听 5000 端 口 ， 启 动 八 个 工作 进程 。 





# netstat -ltnplgrep 5000 
0 00 


tcp .0.0.0:5000 0.0.0.0:* LISTEN 31079/python 

# ps -eflgrep 31079 

root 31079 1 0 10:39 pts/2 /usr/bin/python /usr/bin/gunicorn --access-logfile - --debug --max-requests 100 --graceful-timeout 3600 -t 3600 -k gevent 
root 31085 31079 0 10:39 pts/2 /usr/bin/python /usr/bin/gunicorn --access-logfile - --debug --max-requests 100 --graceful-timeout 3600 -t 3600 -k gevent 
root 31087 31079 0 10:39 pts/2 /usr/bin/python /usr/bin/gunicorn --access-logfile - --debug --max-requests 100 --graceful-timeout 3600 -t 3600 -k gevent 
root 31091 31079 0 10:39 pts/2 /usr/bin/python /usr/bin/gunicorn --access-logfile - --debug --max-requests 100 --graceful-timeout 3600 -t 3600 -k gevent 
root 31096 31079 0 10:39 pts/2 /usr/bin/python /usr/bin/gunicorn --access-logfile - --debug --max-requests 100 --graceful-timeout 3600 -t 3600 -k gevent 
root 31101 31079 0 10:39 pts/2 /usr/bin/python /usr/bin/gunicorn --access-logfile - --debug --max-requests 100 --graceful-timeout 3600 -t 3600 -k gevent 
root 31106 31079 0 10:39 pts/2 /usr/bin/python /usr/bin/gunicorn --access-logfile - --debug --max-requests 100 --graceful-timeout 3600 -t 3600 -k gevent 
root 31111 31079 0 10:39 pts/2 /usr/bin/python /usr/bin/gunicorn --access-logfile - --debug --max-requests 100 --graceful-timeout 3600 -t 3600 -k gevent 
root 31112 31079 0 10:39 pts/2 /usr/bin/python /usr/bin/gunicorn --access-logfile - --debug --max-requests 100 --graceful-timeout 3600 -t 3600 -k gevent 





SODDAADS 
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这 些 参数 是 在 配置 文件 /etc/sysconfig/docker-registr 时 设置 的 。 





# The Docker registry configuration file 

# DOCKER REGISTRY CONFIG=/etc/docker-registry.yml 

# The configuration to use from DOCKER REGISTRY CONFIG file 
SETTINGS_ FLAVOR=local# 控 制 /etc/docker-registry.yml 使 用 的 flavor 
# Address to bind the registry to 

REGISTRY ADDRESS=0.0.0.0# 监 听 地 址 

# Port to bind the registry to 

REGISTRY_PORT=5000 # 监 听 端 口 

# Number of workers to handle the connections 
GUNICORN_WORKERS=8# 工 作 进程 数量 





@@ 注 总 


这 个 配置 并 不 是 docker-registtry 提 供 的 ， 而 是 在 EPEL 中 加 上 去 的 ， 使 用 /etc/init.d/docker-registry。 


7.2.2 配置 文件 











在 默认 情况 下 ，docker-registry 使 用 config_sample.yml 进 行 各 种 配置 ，rpm 方 式 则 使 用 /etc/docker-registry.yml。 























配置 文件 使 用 yml 格 式 ， 并 提供 各 种 不 同 的 模板 ，docker-registry 可 以 针对 不 同 的 环境 选择 不 同 的 模板 。 








在 config_ sample.yml 文 件 中 ， 可 以 看 到 一 些 示例 模板 : 





Common: 公共 基础 配置 ， 其 他 模板 可 以 引用 该 模板 

local: 存储 数据 到 本 地 文件 系统 

s3: 存储 数据 到 RAWS S3 

ceph-s3: 通过 Ceph 对 象 网 关 将 数据 存储 到 Ceph 集 群 

dev: 使 用 Local 模 板 的 基本 配置 

test: 单元 测试 使 用 

prod: 生产 环境 配置 〈 基 本 上 跟 s3 配 置 类 似 ) 

gcs: 存储 数据 到 Google 的 云 存储 

swift: 存储 数据 到 OpenStack Swift 服 务 

glance: 存储 数据 到 OpenStack Glance 服 务 ， 本 地 文件 系统 为 后 备 
glance-swift: 存储 数据 到 OpenStack Glance 服 务 ，Swift 为 后 备 
elliptics: 存储 数据 到 Elliptics key/value 存 储 




















官方 提供 了 一 个 针对 生产 环境 、 开 发 环境 和 测试 环境 的 配置 ， 我 们 只 需要 稍 做 修改 就 可 以 用 于 自己 的 环境 中 。 








common: &common 

standalone: true 

loglevel: info 

search backend: "_ env:SEARCH BACKEND:" 
sqlalchemy index database: 
"_env:SQLALCHEMY INDEX DATABASE:sqlite:////tmp/docker-registry.db" 
prod: 

<<: *common 

loglevel: warn 

storage: s3 

53 access key: env:AWS S3 ACCESS KEY 
s3_secret key: _env:AWS S3 SECRET KEY 
Ss3_ bucket: env:AWS S3 BUCKET 

boto bucket: env:AWSs S53 BUCKET 
storage path: /srv/docker 

smtp_host: localhost 

from addr: docker@myself.com 

to _addr: my@myself.com 

dev: 

<<: *common 

loglevel: debug 

storage: local 

storage path: /home/myself/docker 
test: 

<<: *common 

storage: local 

storage path: /tmp/tmpdockertmp 





7.3 ”构建 安全 的 私有 仓库 


目前 docker-registry 没 有 提供 安全 认证 ， 所 以 ， 所 有 知道 URL 的 人 都 可 以 上 传 镜 像 ， 这 在 实际 生产 环境 中 是 非常 危险 的 。 我 们 需要 认证 功能 ， 可 以 使 用 Nginx 构 建 一 个 带 认证 功能 的 私有 仓库 。 








7.3.1 Nginx 安 装 与 配置 


1. 安 装 Nginx 


安装 Nginx 的 命令 如 下 : 





#yum install nginx -y 





推荐 使 用 1.3.9 以 上 的 Nginux。 
2 配置 


创建 /etc/nginx/conf.d/registry.conf 文 件 ， 内 容 如 下 : 





# For versions of nginx> 1.3.9 that include chunked transfer encoding support 
# Replace with appropriate values where necessary 
upstreamdocker-registry { 

server localhost:5000; # 这 里 修改 为 你 的 docker-registry 的 地 址 


uncomment if you want a 301 redirect for users attempting to connect 
on port 80 
NOTE: docker client will still fail. This is just for convenience 
server { 
listen *:807 
server name my.docker.registry.com; 
return 301 https://$server name$request uri; 
* 
server { 
listen 443; 
server name dev.registry.com; 
ssl on;# 打 开 SSL 
ssl certif?icate /etc/ssl/certs/docker-registry.crt; # 公 铀 证 书 


非 井 井 间 章 井 间 提 一 


ssl certif?icate key /etc/ssl/private/docker-registry.key; # 私 铀 
Client max body size 0; # disable any limits to avoid HTTP 413 for large image uploads 
# required to avoid HTTP 411: see Issue #1486 (https://github.com/docker/docker/issues/1486) 
chunked transfer encoding on; 
location / { 加 
auth _ basic "Restricted"; 
auth basic user f?iledocker-registry.htpasswd; # 用 户 名 、 密 码 文件 
includedocker-registry.conf; 
location / ping { 
auth basic off; 
includedocker-registry.conf; 
} 
location /v1/ ping { 
auth basic off; 
includedocker-registry.conf; 
§ 








为 后 面 涉及 密码 传输 ， 这 里 打开 了 SSL 的 支持 。 





创建 /etc/nginx/docker-registry.conf{ 文 件 ， 内 容 如 下 : 





proxy_pass http://docker-registry; 

proxy_ set header Host $http_ host; # required for docker client's sake 

Proxy_set header X-Real-IP S$remote addr; # pass on real client's IP 

proxy set header Authorization ""; ¥ see https://github.com/dotcloud/docker-registry/issues/170 
Proxy read timeout 900; 




















htpasswd 创 建 认证 的 用 户 和 密码 ， 命 令 如 下 : 





htpasswd -bc /etc/nginx/docker-registry.htpasswd USERNAME PASSWORD 





例如 : 





# htpasswd -bc /etc/nginx/docker-registry.htpasswddockerdocker 
Adding password for user docker 

# cat /etc/nginx/docker-registry.htpasswd 
docker:FRF5oFR6LPDCc 





到 这 里 ，Nginx 的 基本 配置 完成 ， 但 别 忙 启动 Nginx， 我 们 还 需要 给 Nginx 配 置 SSL 证 书 。 


7.3.2 ”SSL 证 书 









































一 般 来 说 ， 我 们 应 该 使 用 权威 CA (Certification Authority) 机 构 签名 的 证 书 (Certificates) 。 为 了 简单 ， 我 们 这 里 使 用 自己 签名 (Self-Signed) 的 证 书 。 


1. 创 建 CA 












































在 给 Nginx 创 建 签名 的 证 书 之 前 ， 我 们 先 要 创建 一 个 我 们 自己 的 CA，CA 包 含 公 钥 和 私 钥 ， 私 钥 用 于 给 其 他 证 书签 名 ， 公 钥 用 于 别人 验证 证 书 的 有 效 性 





# echo 01 >ca.srl 

# opensslgenrsa -des3 -out ca-key.pem 2048 

Generating RSA private key, 2048 bit long modulus 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/. .http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/. .http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 
e is 65537 (0x10001) 

Enter pass phrase for ca-key.pem: 

Verifying - Enter pass phrase for ca-key .pem: 

# opensslreq -new -x509 -days 365 -key ca-key.pem -out ca.pem 

Enter pass phrase for ca-key.pem: 

You are about to be asked to enter information that will be incorporated 
into your certificate request. 

What you are about to enter is what is called a Distinguished Name or a DN. 
There are quite a few fields but you can leave some blank 

For some fields there will be a default value, 

If you enter '.', the field will be left blank. 

Country Name (2 letter code) [XX] :CN 

State or Province Name (full name) []:Guangdong 

Locality Name (eg, city) [Default City]:Shenzhen 

Organization Name (eg, company) [Default Company Ltd] :Tencent 
Organizational Unit Name (eg, section) [] :IEG 

Common Name (eg, your name or your server's hostname) []:dev.registry.com 
Email Address []:dbyin@tencent.com 





现在 , 我 们 有 了 一 个 自己 的 CA， 就 可 以 为 Nginx 创 建 证 书 了 。 


2 为 Ngnix 创 建 证 书 








使 用 opensslgenrsa 创 建 证 书 的 命令 如 下 : 











# opensslgenrsa -des3 -out server-key.pem 2048 

Generating RSA private key, 2048 bit long modulus 

http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/. .http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/. .http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 
e is 65537 (0x10001) 加 

Enter pass Phrase for server-key.pem: 

Verifying - Enter pass phrase for server-key.pem: 

# opensslreq -subj '/CN=dev.registry.com' -new -key server-key.pem -Out server.csr 

Enter pass phrase for server-key.pem: 

# openssl x509 -req -days 365 -in server.csr -CA ca.pem -CAkeyca-key.pem -out server-cert.pem 

Signature ok 

subject=/CN=dev. registry.com 

Getting CA Private Key 

Enter pass phrase for ca-key.pem: 





接着 ,删除 server key 中 的 passphrase， 





# opensslrsa -in server-key.pem -out server-key.pem 
Enter pass phrase for server-key.pem: 
writing RSA key 





然后 ， 安 装 server-key 和 server-crt。 





# cp server-cert.pem /etc/ssl/certs/docker-registry.crt 


# cp server-key.pem /etc/ssl/private/docker-registry.key 





到 这 里 ，Nginx 的 SSL 证 书 就 算 配置 好 了 。 启 动 Nginx 即 可 。 





#servicenginx start 





7.3.3 ”客户 端 配置 

















为 了 Docker 能 够 正常 地 访问 Nginx， 需 要 安装 我 们 自己 的 CA， 用 于 验证 Nginx 的 证 书 的 有 效 性 。 
注意 








目前 ，Docker 如 果 使 用 HTTPS 链 接 ， 会 验证 证 书 的 有 效 性 ， 不 允许 curl-k 类 似 的 非 安全 链接 。 但 是 ， 已 经 有 一 些 议题 (Issues) 在 讨论 非 安全 的 链接 ， 具 体 可 参考 : 
https://github.com/docker/docker/pull/2687 

https://github.com/docker/docker/pull/5817 

https:/ /github.com/docker/docker/pull/8467 

1. 安 装 CA 


通过 以 下 命令 完成 安装 CA: 





# update-ca-trust enable 
# cpca.pem /etc/pki/ca-trust/source/anchors/ca.crt 
# update-ca-trust extract 





然后 重启 Docker。 





2. 登 录 Nginx 


执行 以 下 命令 登录 Nginx: 





# docker login -u docker -p docker -e dbyin@tencent.com https://dev.registry.com 
Login Succeeded 





这 会 在 hhome/ 目 录 下 生成 一 个 .dockercfg 文 件 ， 保 存 认证 信息 。 





# cat /root/.dockercfg 
{"https://dev.registry.com":{"auth":"2G9ja2VyOmRvY2t1lcg==", "email":"dbyin@tencent .com"}} 





然后 我 们 就 可 以 上 传 自己 的 镜像 了 。 





# docker images 

REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE 
dbyin/httpd latest 93e71llfablcl 5 weeks ago 399.6 MB 

# docker tag 93e711fablcl dev.registry.com/dbyin/httpd 

# docker push dev.registry.com/dbyin/httpd 





注意 


总 的 来 说 ， 相 对 于 官方 的 Docker Hub， 这 种 通过 Nginx 完 成 验证 的 做 法 是 比较 粗糙 的 。 但 是 ， 社 区 已 经 在 讨论 给 docker-registry 增 加 验证 的 功能 了 ， 可 以 参考 : https://github.com/docker/docker- 


registry/issues/541 


74 本章 小 结 
































本 章 介绍 了 公有 仓库 的 使 用 方法 ， 以 及 在 什么 场景 下 需要 使 用 私有 仓库 ， 如 何 创建 和 管理 安全 的 私有 仓库 。 


第 8 章 ”Docker 网 络 和 存储 管理 





本 章 我 们 着 重 讨论 一 下 Docker 各 容器 之 间 如 何 相互 通信 ， 以 及 在 Docker 整 个 生命 周期 中 数据 管理 方式 。 





8.1 Docker 网 络 



































网 络 是 虚拟 化 技术 中 最 复杂 的 部 分 ， 也 是 Docker 应 用 中 的 一 个 重要 环节 。Docker 中 的 网 络 主要 解决 容器 与 容器 、 容 器 与 外 部 网 络 、 外 部 网 络 与 容器 之 间 的 互相 通信 的 问题 。 本 节 我 们 主要 讨论 一 下 
Docker 中 网 络 的 一 些 基本 原理 和 应 




















8.1.1 ”Docker 的 通信 方式 























在 默认 情况 下 ，Docker 使 用 网 桥 (bridge) + NAT 的 通信 模型 ， 大 致 如 图 8-1 所 示 。 





Docker 在 启动 时 默认 会 自动 创建 网 桥 设备 Docker0， 并 配置 |P172.17.42.1/16 : 




















# ifconfig docker0 
docker0 Link encap:EthernetHWaddr 46:2E:39:8C:D9:57 
inet addr:172.17.42.1 Bcast:0.0.0.0 Mask:255.255.0.0 
inet6addr: fe80::442e:39ff:fe8c:d957/64 Scope:Link 
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 
RX packets:0 errors:0 dropped:0 overruns:0 frame:0 
TX packets:6 errors:0 dropped:0 overruns:0 carrier:0 
collisions:0 txqueuelen:0 
RX bytes:0 (0.0 b) TX bytes:468 (468.0 b) 





当 Docker 启 动容 器 时 ， 会 创建 一 对 veth 虚 拟 网 络 设备 ， 并 将 其 中 一 个 veth 网 络 设备 附加 到 网 桥 docker0， 另 一 个 加 入 容器 的 网 络 名 字 空 间 (network namespace) ， 并 改名 为 eth0。 这 样 ， 同 一 个 
Host 的 容器 与 容器 之 间 就 可 以 通过 docker0 通 信 了 。 


host 
container container 


eth1 eth 1 
172.16.42.2/16 172.16.42.3/16 


vethX es vethY 


172.16.42.1/16 


NAT 
host network 


eth0 
10.1.1.10/8 


8-1 网 桥 +NAT 的 通信 模型 


-A 




















仅仅 解决 Host 内 部 的 容器 之 间 的 通信 是 不 够 的 ， 还 需要 解决 容器 与 外 部 网 络 之 间 的 通信 ， 为 此 ，Docker 引 入 NAT。 
(1) 容器 访问 外 部 网 络 


为 了 解决 容器 访问 外 部 网 络 ，Docker 创 建 如 下 MASQUERADE 规 则 : 





-tnat-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE 





这 条 规则 将 所 有 从 容器 (172.17.0.0/16) 发 出 的 、 目 的 地 址 为 Host 外 部 网 络 的 包 的 IP 都 修改 成 Host 的 IP， 并 由 Host 发 送出 去 。 
(2) 外 部 网 络 访问 容器 


如 果 容 器 提供 的 服务 需要 暴露 给 外 部 网 络 ，Docker 在 启动 容器 时 ， 就 会 创建 SNAT 规 则 。 比 如 ， 我 们 启动 一 个 apache 容 器 : 





#docker run -d -P 80:80 apache 





这 会 创建 下 面 的 SNAT 规 则 : 





iptables -t nat-A PREROUTING -m addrtype --dst-type LOCAL -] DOCKER 
iptables -t nat-A DOCKER ! -i docker0 -p tcp -m tcp ~--dport80 -j DNAT --to-destination 172.17.0.2:80 





实际 上 ， 第 一 条 规则 是 在 Docker 进 程 启动 时 默认 创建 的 ， 第 二 条 规则 是 在 启动 容器 时 创建 的 。 


8.1.2 ”网 络 配置 
1. 网 络 配置 参数 
在 Docker 中 ， 有 很 多 与 网 络 配置 相关 的 参数 ， 一 些 是 Docker 进 程 本 身 的， 这 会 影响 所 有 的 容器 ; 另外 一 些 是 配置 容器 的 ， 这 些 配置 只 会 影响 某 个 具体 的 容器 。 


(1) Docker 进 程 的 网 络 配置 


Docker 进 程 提供 下 面 一 些 与 网 络 配置 相关 的 参数 : 





-b, --bridge="" Attach containers to a pre-existing network bridge 

use 'none' to disable container networking 
--bip="" Use this CIDR notation address for the network bridge's IP, not compatible with -b 
--dns=[] Force docker to use specific DNS servers 
--dns-search=[] Force Docker to use specific DNS search domains 


Enable inter-container communication 
Default IP address to use when binding container ports 
Enable net.ipv4.ip forward 
--iptables=true Enable Docker's addition of iptables rules 
--mtu=0 Set the containers network MTU 
if no value is provided: default to the default route MTU or 1500 if no default route is available 








我 们 来 逐个 看 这 些 参数 : 
“ -b/--bridge: 指定 Docker 使 用 的 网 桥 设 备 。 默 认 情 况 下 ，Docketr 会 创建 (使 用 ) docker0 网 桥 设备 ， 通 过 该 参数 可 以 指定 Docker 使 用 已 经 存在 的 网 桥 设备 。 
. --bip: 指定 网 桥 设备 docker0 的 JP 和 掩 码 ， 使 用 标准 的 CIDR 形 式 ， 如 192.168.1.5/24。 


“ -dns/--dns-search: 配置 容器 的 DNS， 该 参数 既 可 以 在 启动 Docker 进 程 时 指定 (成 为 所 有 容器 的 默认 值 ) ， 也 可 以 在 启动 容器 (docker run) 时 指定 (覆盖 默认 值 ) 。 我 们 会 在 下 面 介绍 “配置 DNS” 时 


详细 讨论 。 


(2) 容器 的 网 络 配 置 





下 面 一 些 参 数 是 在 执行 docker run 时 ， 提 供给 具体 容器 的 : 





--net="bridge" Set the Network mode for the container 
'bridge': creates a new network Stack for the container on the docker bridge 
'none': no networking for this container 
'container:<name|id>': reuses another container network stack 


'host': use the host network stack inside the container. Note: the host mode gives the container full access to local System services such as D- 








--net 用 于 指定 容器 使 用 的 网 络 通信 方式 ， 它 可 以 取 下 面 四 个 值 : 

“ bridge: 这 个 Docker 中 的 容器 默认 的 方式 ,在 8.1.1 节 中 已 经 详细 讨论 过 。 

“ none: 容器 没有 网 络 栈 ， 也 就 是 说 容器 无 法 与 外 部 通信 。 

' container: <name|id>: 使 用 其 他 容器 (name 或 者 id 指定 ) 的 网 络 栈 。 实 际 上 ，Docker 会 将 该 容器 加 入 指定 容器 的 network namespace， 这 是 一 种 非常 有 用 的 方式 。 


“ host: 表示 容器 使 用 Host 的 网 络 ， 没 有 自己 独立 的 网 络 栈 。 实 际 上 ， 在 这 种 情况 下 ，Docketr 不 会 给 容器 创建 单独 的 网 络 名字 空 间 (netwotk namespace) 。 由 于 容器 可 以 完全 访问 Host 的 网 络 ， 所 以 此 方 


式 也 是 不 安全 的 。 


2. 配 置 DNS 





一 般 来 说 ， 每 个 容器 的 hostname 和 DNS 配 置信 息 是 不 同 的 ， 我 们 不 可 能 为 每 个 容器 都 构建 一 个 镜像 ， 并 在 镜像 中 指定 这 些 信息 。 那 么 如 何 解决 这 个 问题 呢 ? 

















实际 上 ，Docker 在 启动 容器 时 ， 会 使 用 bind mount 动 态 挂 载 /etc/hostname、/etc/hosts、/etc/resolv.conf 几 个 文件 ， 覆 盖 镜 像 中 原来 的 文件 ， 我 们 可 以 在 容器 内 部 看 到 这 个 信息 : 














$$ mount 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 
/dev/disk/by-uuid/lfechttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/...ebdf on /etc/hostname type ext4 http://www.hzcc 
/dev/disk/by-uuid/1lfechttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/...ebdf on /etc/hosts type ext4 http://www.hzcours 
tmpfs on /etc/resolv.conf type tmpfs http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 





所 以 ， 我 们 可 以 通过 命令 行 参 数 在 启动 Docker 时 指定 DNS。 


8.2 ”Docker 数 据 管理 


8.2.1 基本 介绍 
































Docker 中 的 容器 一 旦 删除 ， 容 器 本 身 对 应 的 rootfs 文 件 系统 就 会 被 删除 ， 容 器 中 的 所 有 数据 也 将 随 之 删除 。 但 有 的 时 候 ， 我 们 想 要 数据 如 日 志 或 者 其 他 需要 持久 化 的 数据 ， 不 随 容器 的 删除 而 删除 。 还 
有 的 时 候 ， 我 们 希望 在 同一 台 Host 的 容器 之 间 可 以 共享 数据 。 
































为 此 ，Docker 提 供 了 数据 卷 (data volume) ， 数 据 卷 除了 可 以 持久 化 数据 ， 还 可 以 用 于 容器 之 间 共 享 数据 。 


8.2.2 ”数据 卷 


Docker 中 有 两 个 与 数据 卷 相关 的 参数 : 





-v=[]: Create a bind mount with: [host-dir]:[container-dir]:[rw|ro]. 
If "container-dir" is missing, then docker creates a new volume. 
-volumes-from="": Mount all volumes from the given container (s) 





我 们 先 看 参数 “-v”， 通 过 该 参数 可 以 给 容器 创建 数据 卷 ， 它 有 三 个 变量 : 
“ host-dir: 表示 Host 上 的 目录 ， 如 果 不 存在 ，Docket 会 自动 在 Host 上 创建 该 目录 。 
:container-dit: 表示 容器 内 部 对 应 的 目录 ， 如 果 该 目录 不 存在 ，Docker 也 会 在 容器 内 部 创建 该 目录 。 
“rw|ro: 用 于 控制 卷 的 读 写 权 限 。 


1. 创 建 数据 卷 





我 们 可 以 不 指定 host-dir， 从 而 在 容器 内 部 创建 一 个 数据 卷 : 





[root@yinye ~]# docker run -it --rm -v /volumel --name test1 ubuntu:14.04 /bin/bash 
root@5cb86de3eee4:/# df -lh 
FilesystemSize Used Avail Uses Mounted on 


tmpfs 935M 0 935M 0% /dev 

shm 64M 0 64M 0% /dev/shm 
/dev/mapper/vg yinye-lv root 18G 14G 3.0G 83% /volumel 
tmpfs 935M 0 935M 0% /proc/kcore 


root@5cb86de3eee4:/# 1s /volumel/ 

root@5cb86de3eee4:/# echo "volumel"> /volumel/test.txt 
root@5cb86de3eee4:/# 1s /volumel/ 

test .tx 























执行 df 可 以 看 到 Host 的 根 分 区 被 挂 载 到 了 容器 的 /volume1。 实 际 上 ，Docker 会 在 Host 的 /var/lib/docker/vfs/dir/ 目 录 生 成 一 个 随机 的 目录 ， 然 后 挂 载 容 器 的 /volume1。 























# docker inspect test1 


[{ 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 
"Volumes": { 
"/volumel": "/var/lib/docker/vfs/dir/144d7df40fc569b25221b4d2dd14b5b21ba840accbbac627958080bbb04db109" 
ly 
"Vo 
"VolumesRW": { 
"/volumel": true 
} 
} 


] 
[root@yinye ~]#1s /var/lib/docker/vfs/dir/144d7df40fc569b25221b4d2d914b5b21ba840accbbac627958080bbb04db109 


test .txt 
[root@yinye ~]# cat /var/lib/docker/vfs/dir/144d7df40fc569b25221b4d2dd14b5b21ba840accbbac627958080bbb04db109/test .txt 


volumel 


























对 于 这 种 方式 创建 的 数据 卷 ， 当 容器 被 删除 后 ， 如 果 没 有 其 他 容器 引用 该 数据 卷 ， 对 应 的 Host 目 录 也 会 被 删除 。 所 以 ， 如 果 不 想 Host 的 目录 被 删除 ， 必 须 指定 Host 的 目录 。 




















2. 挂 载 Host 的 目录 作为 数据 卷 


除了 创建 数据 卷 外 ， 我 们 还 可 以 挂 载 Host 的 目录 到 容器 ， 作 为 容器 的 数据 卷 。 





[root@yinye ~]# docker run -it --rm -v /data/volumel:/volumel ubuntu:14.04 /bin/bash 
root@97556a0d5b21:/# df -lh 
FilesystemSize Used Avail Uses Mounted on 


tmpfs 935M 0 935M 0% /dev 

shm 64M 0 64M 0% /dev/shm 
/dev/mapper/vg yinye-lv root 18G 14G 3.0G 83% /volumel 
tmpfs 加 935M 0 935M 0% /proc/kcore 


root@97556a0d5b21:/# 1s /volumel/ 
root@97556a0d5b21:/# echo "hello"> /volumel/hello.txt 
root@97556a0d5b21:/# exit 


exit 

[root@yinye ~]# 1s /data/volumel/ 
hello.txt 

[root@yinye ~]# cat /data/volumel/hello.txt 
hello 



































我 们 将 Host 上 的 /data/volume1 挂 载 容器 中 的 /volume1。 通 过 这 种 方式 我 们 可 以 在 Host 与 容器 之 间 进 行 数据 交换 。 比 如 ， 容 器 内 的 应 用 程序 可 以 将 日 志 、 重 要 数据 写 到 /volume1 上 ， 这 样 ， 即 使 容器 
被 删除 ， 数 据 仍然 会 保留 在 Host 上 。 实 际 上 ，Docker 内 部 是 通过 mount--bind 来 实现 的 。 


Host 目 录 必 须 是 绝对 路 径 ， 如 果 该 目录 不 存在 ，Docker 会 自动 创建 该 目录 。 





在 默认 情况 下 ， 容 器 对 挂 载 的 数据 具有 读 写 权限 。 我 们 也 可 以 挂 载 为 只 读 权 限 : 





[root@yinye ~]# docker run -it --rm -v /data/volumel:/volumel:ro Ubuntu:14.04 /bin/bash 
root@762ec88b090b:/# df -lh 
FilesystemSize Used Avail Uses Mounted on 


tmpfs 935M 0 935M 0% /dev 

shm 64M 0 64M 0% /dev/shm 
/dev/mapper/vg yinye-lv root 18G 14G 3.0G 83% /volumel 
tmpfs ee ml 935M 0 935M 0% /proc/kcore 


root@762ec88b090b:/# touch /volumel/hello.txt 
touch: cannot touch '/volumel/hello.txt': Read-only file system 
root@762ec881b090b: /# 


可 以 看 到 ， 当 我 们 以 只 读 权 限 挂 载 时 ， 容 器 对 目录 写 会 失败 。 


3. 挂 载 Host 的 文件 作为 数据 卷 


我 们 除了 可 以 挂 载 Host 的 目录 作为 容器 的 数据 卷 外 ， 还 可 以 挂 载 Host 的 文件 作为 容器 的 数据 卷 。 例 如 : 





#docker run --rm -it -v ~/.bash history:/root/.bash historyubuntu /bin/bash 





这 样 就 能 在 容器 中 查看 Host 的 bash 的 历史 命令 了 ， 在 我 们 退出 容器 后 ， 在 Host 中 也 能 看 到 容器 执行 的 命令 历史 。 














这 种 挂 载 Host 的 文件 方式 主要 用 于 在 Host 与 容器 之 间 共 享 配置 文件 。 一 般 来 说 ， 应 用 程序 不 会 变 ， 而 配置 文件 可 能 会 经 常 变 ， 如 果 对 每 个 配置 文件 都 做 一 个 镜像 ， 会 造成 镜像 版 本 过 多 、 管 理 不 便 ， 而 
且 不 够 灵活 。 实 际 上 ， 我 们 可 以 将 配置 文件 放 在 Host 上 面 ， 然 后 挂 载 到 容器 ， 这 样 ， 我 们 就 可 以 随时 更 改 Host 文 件 ， 容 器 内 部 看 到 的 内 部 也 会 随 之 改变 ， 这 种 方式 会 更 加 简单 灵活 。 来 看 个 实际 例子 吧 。 
































在 一 般 情况 下 ,我们 运行 一 个 容器 ， 容 器 内 部 看 到 的 时 区 可 能 会 与 Host 不 一 致 : 








[root@yinye ~]# date +%z 

+0800 

[root@yinye ~]# docker run -it --rm ubuntu:14.04 /bin/bash 
root@e659855775b5:/# date +%z 

+0000 





我 们 可 以 将 Host 的 /etc/localtime 挂 载 到 容器 内 部 : 





[root@yinye ~]# docker run -it --rm -v /etc/localtime:/etc/localtime ubuntu:14.04 /bin/bash 
root@77c80eclf9e2:/# date +%z 
+0800 





可 以 看 到 ， 容 器 内 部 看 到 的 时 区 与 Host 已 经 一 致 了 。 





@@O 注 意 


很 多 编辑 工具 ， 包 括 vi 和 sed--in-place 可 能 会 造成 文件 的 inode 改 变 。 从 Docker1.1.0 开 始 ， 这 会 产生 错误 “sed: cannot rename./sedKdJ9Dy: Device or resource busy”。 在 这 种 情况 下 ， 如 果 想 编辑 文件 ， 最 


好 挂 载 文件 的 父 目 录 。 


8.2.3 ”数据 卷 容器 




















在 前 面 的 内 容 中 ， 我 们 提 到 Docker 有 两 个 与 数据 卷 相关 的 参数 ， 本 节 我 们 来 讨论 另外 一 个 参数 “--volumes-from” ， 该 参数 主要 用 于 数据 卷 容器 (Data Volume Container) 的 场景 。 





1. 创 建 和 挂 载 数据 卷 容器 


很 多 时 候 ， 我 们 会 将 一 些 相 关 的 容器 部 署 在 同一 个 Host 上 ， 并 且 希 望 这 些 容器 之 间 可 以 共享 数据 。 这 时 ， 我 们 可 以 创建 一 个 命名 的 数据 卷 容器 ， 然 后 供 其 他 容器 挂 载 。 例 如 ， 我 们 创建 一 个 dbdata 的 容 
器 ， 它 包含 一 个 /dbdata 的 数据 卷 : 


#docker run -d -v /dbdata --name dbdata training/postgres echo Data-only container for postgres 








然后 我 们 就 可 以 通过 --volumes-from 在 其 他 容器 挂 载 /dbdata 数 据 卷 。 


我 们 创建 容器 db1: 





#docker run -d --volumes-from dbdata --name qbl training/postgres 





我 们 还 可 以 再 创建 容器 挂 载 该 数据 卷 : 





#docker run -d --volumes-from dbdata --name db2 training/postgres 





这 样 ，db1 和 db2 也 能 看 到 容器 dbdata 所 有 的 数据 卷 (/dbdata) 的 内 容 。 











我 们 可 以 同时 使 用 多 个 --volumes-from 人 参数 ， 从 多 个 容器 挂 载 多 个 数据 卷 。 我 们 还 可 以 从 其 他 已 经 挂 载 容器 卷 的 容器 (如 db1) 挂 载 数据 卷 : 











#docker run -d --name db3 --volumes-from dbl training/postgres 






































如 果 我 们 删除 挂 载 了 数据 卷 的 容器 (包括 初始 的 dbdata 容 器 和 其 他 的 容器 db1、db2) ， 数 据 卷 并 不 会 被 删除 。 如 果 想 删除 该 数据 卷 ， 必 须 在 删除 最 后 一 个 引用 该 数据 卷 的 时 候 调用 dockerrm-v 显 示 删 


2 数据 卷 容器 的 应 用 





























Docker 的 应 用 哲学 是 一 个 容器 一 个 程序 ， 当 然 ， 我 们 也 可 以 在 一 个 容器 中 运行 多 个 程序 (推荐 使 用 supervisor) ， 但 这 并 不 是 Docker 推 荐 的 。 












































而 实际 上 ， 很 多 应 用 程序 通常 会 通过 系统 的 syslog 记 录 日 志 。 我 们 可 以 将 应 用 程序 和 rsyslog 同 时 安装 到 镜像 中 ， 然 后 在 同一 个 容器 中 同时 运行 应 用 程序 和 rsyslog。 如 果 你 只 需要 一 个 容器 ， 这 样 做 可 能 
没有 太 大 问题 ， 如 果 你 需要 多 个 容器 ， 每 个 容器 都 跑 一 个 rsyslog， 难 免 造 成 资源 的 浪费 。 更 好 的 方式 是 ， 我 们 创建 一 个 容器 专门 运行 rsyslog 收 集 日 志 ， 其 他 应 用 程序 将 日 志 发 送 到 该 日 志 容 器 。 这 样 ， 我 们 
不 仅 可 以 更 好 地 集中 管理 日 志 ， 也 避免 了 资源 的 浪费 。 









































(1) 构建 rsyslog 镜 像 


我 们 先 创建 一 个 只 运行 rsyslog 的 镜像 ，Dockerfile 如 下 : 





#forrsyslog 

FROM centos6 

MAINTAINER hustcat 

RUN yum -y install rsyslog&& yum clean all 
CMD rsyslogd -n 

VOLUME /dev 

VOLUME /var/log 





执行 下 面 的 命令 生成 镜像 : 





#docker build -t hustcat/rsyslog . 


(2) 运行 rsyslog 容 器 


我 们 启动 rsyslog 容 器 : 





# docker run --name rsyslog -d -v /tmp/syslogdev:/devhustcat/rsyslog 





成 功 启动 后 ,我 们 在 Host 上 可 以 看 到 /tmp/syslogdev/log 的 Unix socket 文 件 : 





# 1s /tmp/syslogdev/1og -1h 
Srw-rw-rw- 1 root root 0 Sep 19 14:24 /tmp/syslogdev/1og 














(3) 在 其 他 容器 写 log 到 日 志 容器 














接 下 来 ， 我 们 就 可 以 在 另 一 个 容器 写 log 了 : 








# docker run --rm -v /tmp/syslogqev/1og:/dev/1og centos6 logger -p info "hello rsyslog" 














我 们 还 可 以 在 日 志 容 器 中 做 更 多 的 事情 ， 如 将 日 志 发 到 远 端 服务 集中 存储 管理 。 总 之 ， 通 过 这 种 方式 管理 容器 日 志 更 加 方便 灵活 。 目 前 ， 业 界 已 经 有 一 些 专门 处 理 容器 日 志 的 工具 ， 如 


loggly (https://www.loggly.com/blog/centralize-logs-docker-containers/) 。 





8.2.4 备份、 恢复 和 迁移 数据 卷 








我 们 使 用 数据 卷 共 享 数据 ， 难 免 面临 数据 的 备份 、 恢 复 和 迁移 的 问题 。 








1 备份 数据 卷 





我 们 可 以 通过 参数 “--volumes-from” 从 数据 卷 挂 载 数据 卷 ， 然 后 备份 数据 卷 中 的 数据 ， 例 如 : 





#docker run --volumes-from dbdata -V $ (pwd):/backup ubuntu tar cvf /backup/backup.tar /dbdata 











这 里 我 们 创建 一 个 新 的 容器 ， 将 Host 本 地 目录 挂 载 到 /backup， 然 后 将 数据 卷 容 器 dbdata 的 数据 卷 (/dbdata) 打包 到 /backup/backup.tar。 然 后 在 Host 的 当前 目录 下 就 可 以 得 到 backup.tar。 











2. 恢 复数 据 卷 





我 们 可 以 将 备份 的 数据 恢复 到 原 有 容器 或 者 其 他 任何 容器 。 假 设 我 们 想 把 backup.tar 的 数据 恢复 到 一 个 新 的 容器 dbdata2 : 





#docker run -v /dbdata --name dbdata2 ubuntu /bin/bash 





然后 执行 下 面 的 命令 即 可 。 





#docker run --volumes-from dbdata2 -v $ (pwd):/backup busybox tar xvf /backup/backup.tar 





8.3 ”Docker 存 储 驱 动 








Docker 存 储 驱 动 (storage driver) 是 Docker 的 核心 组 件 ， 它 是 Docker 实 现 分 层 镜像 的 基础 ， 本 节 将 介绍 一 下 Docker storage driver 的 历史 及 一 些 最 新 的 进展 。 


8.3.1 ”Docker 存 储 驱 动 历史 


Docker 目 前 支持 很 多 graph driver， 最 开始 使 用 AUFS， 但 AUFS 一 直 没 有 进入 内 核 主线 。 但 RHEL/Fedora 等 发 行 版 本 并 不 支持 AUFS， 所 以 ，Redhat 的 Alexander Larsson 实 现 了 device-mapper 的 
driver， 现 在 dm driver 由 Vincent Batts 在 维护 。Alexander 当 时 选择 了 device-mapper， 主 要 是 由 于 btrfs 不 成 熟 ，overlayfs 也 没有 进入 内 核 主线 ， 所 以 ， 它 选择 了 device-mapper 作 为 RHEL/Fedora 下 的 
解决 方案 。 








1.device mapper 


在 相当 长 一 段 时 间 内 ，DM (device mapper) 几乎 成 为 生产 环境 的 使 用 Docker 的 唯一 选择 ， 但 在 实际 中 ， 经 常会 遇 到 很 多 问题 。 比 如 ， 你 一 定 经 常 遇 到 下 面 的 问题 : 





Driver devicemapper failed to remove root filesystem http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... : Device is Bus 





另外 ， 想 让 DM 工作 稳定 ， 需 要 udev 的 支持 ， 而 udev 没 有 静态 库 。 最 后 ，Docker 希 望 通过 容器 之 间 共 享 pagecache， 试 想 ， 如 果 一 台 机 器 上 有 几 百 个 容器 ， 如 果 每 个 容器 都 打开 一 份 glibc， 这 会 浪费 
许多 内 存 。 由 于 DM 工作 在 块 层 ， 很 难 实现 pagecache 的 共享 。 





Bl 


另外 ， 在 默认 情况 下 ，Docker 基 于 文件 +10oop 设 备 构建 DM 块 设备 ， 会 导致 IO 路 径 过 于 宛 长 ， 性 能 和 稳定 性 都 是 一 个 很 大 的 问题 。 











因此 ， 很 多 人 都 不 建议 在 生产 环境 中 使 用 DM。 个 人 在 使 用 DM 的 过 程 中 也 遇 到 一 些 问题 ， 包 括 导致 内 核 crash 的 问题 、 性 能 问题 等 。 








2.btrfs 


再 后 来 社区 实现 了 btrfs driver。 但 btrfs 在 稳定 性 、 性 能 上 都 存在 一 些 问题 。 





3.overlayfs 


在 内 核 3.18 中 ，overlayfs 终 于 正式 进入 主线 。 相 比 AUFS，overlayfs 设 计 简单 ， 代 码 也 很 少 ， 而 且 可 以 实现 pagecache 共 享 。 这 似乎 是 一 个 非常 好 的 选择 。 于 是 ， 在 这 之 后 ，Docker 社 区 开始 转向 将 
overlayfs 作 为 第 一 选择 。 





8.3.2 Docker overlayfs driver 


1 介绍 























Docker 使 用 overlayfs 的 lowerdir 指 向 image layer， 使 用 upperdir 指 向 container layer，merged 将 lowerdir 与 upperdir 整 合 起 来 提供 统一 视图 给 容器 ， 作 为 根 文件 系统 。 内 容 如 下 : 





























Container mount 


Container layer 
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OverlayFS constructs 





Image layer 





lowerdir 与 upperdir 可 以 包含 相同 的 文件 ，upperdir 会 隐藏 owerdir 的 文件 。 


(1) read file 


分 


在 容器 内 读 文件 时 ， 如 果 upperdir (container layer) 存在 ， 就 从 container layer 读 取 ; 如 果 不 存 在 ， 就 从 lowerlay (image layer) 读 取 。 


(2) write file 








写 容 器 内 文件 时 ， 如 果 upperdir 不 存在 ，overlay 则 会 发 起 copy_up 操 作 ， 从 lowerdir 拷 贝 文件 到 upperdir。 由 于 拷贝 发 生 在 文件 系统 层面 ， 而 不 是 块 层 ， 会 拷贝 整个 文件 ， 即 使 只 修改 文件 很 小 一 部 
如 果 文 件 很 大 ， 也 会 导致 效率 低下 。 但 好 在 拷贝 只 会 在 第 一 次 打开 时 发 生 。 另 外 ， 由 于 overlay 只 有 两 层 ， 所 以 性 能 影响 也 很 小 。 








(3) deleting files and directories 




















删除 容器 内 文件 时 ，upperdir 会 创建 一 个 whiteout 文 件 ， 它 会 隐藏 lowerdir 的 文件 〈 不 会 删除 ) 。 同 样 ， 删 除 目 录 时 ，upperdir 会 创建 一 个 opaque directory， 隐 藏 Iowerdir 的 目录 。 
2.overlayfs driver 实 践 


以 Docker1.9.1 为 例 ， 指 定 overlay driver 启 动 : 





#docker daemon --storage-driver=overlay 
# docker info 
Containers: 0 
Images: 0 
Server Version: 1.9.1 
Storage Driver: overlay 
Backing Filesystem: extfs 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 





下 载 一 个 镜像 : 





# docker pull centos:centos6 
# docker images -a 


REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE 
centos centos6 1a895dd3954a 11 weeks ago 190.6 MB 
<none> <none> 366219586e86 11 weeks ago 190.6 MB 
<none> <none> 501f51238f9e 11 weeks ago 190.6 MB 
<none> <none> ebdbel0e9b33 11 weeks ago 190.6 MB 
<none> <none> fa5be2806d4c 3 months ago 0 B 





可 以 看 到 centos: centos6 有 五 个 layer， 我 们 查看 对 应 的 存储 目录 : 





# 1s /var/lib/docker/overlay/ 

1a895dd3954aede5ea9e6bc23d23e8b1£6040d£94647d83e71£96d60131d3235 ebdbel0e9b3379125ce3c105cb711f80afqdc22a5adac56f0045bc2c19f08887c 
366219586e86f21918abb0571e668eb702b506d825702856539515ba2ac4be52 fa5be2806d4c9aa0f75001687087876e47bb45dc8afb61f0c0e46315500ee144 
501f51238f9ef52bcb6aecb6e2clc04b3f8607c855d9b2cf7da780946ce02ec2 

# ls /var/lib/docker/overlay/1a895dd3954aedeSea9e6bc23d23e8b1f6040df94647d83e71£96960131d3235/root/ 

bin dev etc home lib 1ib64 lost+found media mt opt proc root sbin selinux srv SYS tmp usr Var 








可 以 看 到 ， 每 个 layer 对 应 一 个 目录 。 














我 们 创建 一 个 容器 ， 然 后 查看 容器 存储 目录 : 





# docker run -it centos:centos6 /bin/bash 

[root@b90c75273b11 /]# 

# 1s /var/lib/docker/overlay/b90c75273b116a4dac754£425380012bbdf90d098cdbc829de3691f857137435 

lower-id merged upper work 

# cat /var/lib/docker/overlay/b90c75273b1l16a4dac754f425380012bbdf909098cdbc829de3691f857137435/lower-id 

1a895dd3954aede5ea9e6bc23d23e8b1f6040df94647d83e71f96d60131dq3235 

# cat /proc/mounts 

overlay /var/lib/docker/overlay/b90c75273b1l16a4dac754f425380012bbdf90d098cdbc829de3691f857137435/merged overlay rw,relatime,lowerdir=/var/lib/docker/overlay/1a895dd3954aedeSeas 























可 以 看 到 ， 容 器 对 应 的 目录 有 三 个 (merged、upper、work) ，work 目 录用 于 overlayfs 实 现 copy_up 操 作 ，lower-id 保 存 image ID。 











(1) 创建 文件 


在 容器 创建 一 个 文件 : 





[root@b90c75273b11 ~]# echo "hello™" > /root/f1.txt 
[root@b90c75273b11 ~]# 1s /root/ 
anaconda-ks.cfg fl.txt install.log install.log.syslog 

















overlay 目 录 变化 : 











[root@yyl ~]# 1s /var/lib/docker/overlay/b90c75273b116a4dac754f425380012bbdf909d098cdbc829de3691f857137435/merged/root/ 
anaconda-ks.cfg fl.txt install.log install.log.syslog 

[root@yyl ~]# 1s /var/lib/docker/overlay/b90c75273b1l16a4dac754£425380012bbdf90d098cdbc829de3691£857137435/upper/root/ 
El, txt 

[root@yyl ~]# 1s /var/lib/docker/overlay/1a895dd3954aedeSea9e6bc23d23e8b1f6040df94647d83e71£96d601319d3235/root/root/ 
anaconda-ks.cfg install.log install.log.syslog 

















可 以 看 到 文件 出 现在 upper 目 录 。 








(2) 删除 文件 


在 容器 删除 一 个 文件 : 





[root@b90c75273b11 ~]# rm /root/instal1.1og 

[root@b90c75273b11 ~]# 1s /root/ 

anaconda-ks.cfg fl.txt install.log.syslog 

[root@yyl ~]# 1s /var/lib/docker/overlay/b90c75273b1l16a4dac754£f425380012bbdf90d098cdbc829de3691£857137435/merged/root/ 

anaconda-ks.cfg fl.txt install.log.syslog 

[root@yyl ~]# 1s /var/lib/docker/overlay/b90c75273b116a4dac754£425380012bbdf90d098cdbc829de3691f857137435/upper/root/* -1 

—rWw- 1 root root 6 12 月 31 17:55 /var/lib/docker/overlay/b90c75273b116a4dac754f425380012bbdf90d098cdbc829de3691f857137435/upper/root/f1.txt 

w= 1 root root 0, 0 12 月 31 18:01 /var/lib/docker/overlay/b90c75273b1l16a4dac754f425380012bbdf90d098cdbc829de3691f857137435/upper/root/install.1log 
[root@yyl ~]# 1s /var/lib/docker/overlay/1a895dd3954aede5ea9e6bc23d23e8b1f6040df94647d83e71£96d60131d3235/root/root/ 

anaconda-ks.cfg install.log install.log.syslog 

















可 以 看 到 upper 目 录 多 了 一 个 “install.log” 文件。 











8.4 本章 小 结 























数据 卷 是 Docker 应 用 中 的 重要 的 一 环 。 通 过 数据 卷 ， 我 们 可 以 灵活 地 管理 应 用 程序 的 数据 ， 也 可 以 通过 数据 卷 在 容器 与 容器 、 容 器 与 Host 之 间 共 享 数据 。 理 解数 据 卷 可 以 让 我 们 更 好 地 使 用 Docker， 
让 Docker 为 应 用 程序 服务 。 


















































第 9 章 ”Docker 项 目 日 常 维护 











从 第 4 章 到 第 8 章 ， 我 们 陆续 介绍 了 Docker 的 三 大 组 件 (容器 、 镜 像 和 仓库 ) 、 网 络 和 数据 存储 的 基础 知识 。 这 一 章 ， 我 们 将 介绍 如 何 利用 上 述 的 基础 知识 ， 来 维护 Docker 项 目 整个 生命 周期 。 











前 面 我 们 基于 Ubuntu 系 统 搭建 Docker 运 行 环境 。 从 本 章 开始 ， 我 们 再 次 切换 环境 到 REHL/Centos 系 统 下 ， 因 为 接 下 来 几 章 ， 我 们 将 讨论 在 生产 环境 下 如 何 运 用 Docker， 国 内 大 部 分 的 生产 环境 都 是 使 
REHL/Centos 系 列 的 操作 系统 。 




















9.1 宿主 机 的 管理 


9.1.1 安装 Docker 并 启动 


安装 : 





yum install docker-io 





启动 : 





service dokcer start 





检查 docker 进 程 是 否 启 动 : 





Ps aux |grep docker 





把 Dokcer 的 数据 目录 转移 到 大 的 磁盘 分 区 上 。 








service docker stop 

mkdir /data/dockerData/ 

mV /var/lib/docker /data/dockerData/ 

ln -s /data/dockerData/docker /var/lib/docker 
Sservice docker start 





@@ 济 


启动 Docker 时 ， 会 自动 分 配 172.17.42.1。 


升级 Docker 到 最 新 版 本 (如 docker-1.11.1) 。 





service docker stop 

wget https://get.docker.com/builds/Linux/x86 64/docker-1.11.1.tgz 
tar zxvf docker-1.1].1.tgz 

cp docker/docker /usr/bin/docker 

chmod +x /usr/bin/docker 

Sservice docker start 





Docker 监 听 内 网 的 配置 文件 /etc/sysconfig/docker 内 容 如 下 : 





#!/bin/bash 


NUM=$ (ifconfig|grep 'inet addr'|awk -F':' '{print $2}'|awk '{print $1}'|grep -~v '127.0.0.1' |grep -~v '172.17.42.1' |egrep '^10|^172'|wc -1) 
if [ SNUM -eq 1 ];then 
HOSTIP=$ (ifconfiglgrep 'inet addr'|awk -F':' '{print $2}'|lawk '{print $1}'|grep -~v '127.0.0.1' |grep -v '172.17.42.1' |egrep '^10|^172') 


else 

4 HOSTIP="127.0.0.1" 

全 

other args="-H tcp://${HOSTIP}:2375 -H unix:///var/run/docker.sock --insecure-registry 10.100.10.2:5000 -dns 10.100.10.3" 














其 中 ，“--insecure-registry” 指 定 内 部 Docker 仓 库 的 I|P 和 端口 ，“-dns” 指定 内 部 DNS 服务 器 的 地 址 。 








/etc/sysctl.conf 中 添加 如 下 一 行内 容 : 





net.ipv4.ip forward = 1 





使 配置 生效 : 





Sysct1 ~p 





9.1.2 ”网 桥 异 式 





默认 网 络 配置 的 是 NAT 模 式 ， 如 果 要 配置 网 桥 模 式 ， 需 要 增加 以 下 三 步 。 
1. 宿 主机 配 网 桥 


备份 原来 网 卡 配置 : 





cp /etc/sysconfig/network-scripts/ifcfg-ethl /root 





修改 /etc/sysconfig/network-scripts/ifcfg-eth1: 





DEVICE="'eth1' 
HWADDR=00:15:17:d8:cc:c6 
ONBOOT=yes 

BRIDGE=brl 








修改 /etc/sysconfig/network-scripts/ifcfg-br1: 





DEVICE="'br1' 

TYPE=Bridge 
BOOTPROTO=static 
ONBOOT=yes 
IPADDR="'10.100.10.xx"' 
NETMASK="'255.255.255.192' 
GATEWAY="'10.100.10.129' 











其 中 IPADDR、NETMASK、GATEWAY 是 宿 3 





然后 





看 启 网 卡 使 配置 生效 。 


E 机 的 IP、 子 网 掩 码 和 网 关 ， 根 据 实际 情况 进行 配置 。 





/etc/init.d/network restart 





2. 安 装 pipework 脚 本 


pipework 用 于 给 container 指 定 IP。 





wget -0O /usr/bin/pipework https://github.com/jpetazzo/pipework/blob/master/pipework 


Chmod +x /usr/bin/pipework 





3. 更 新 iproute 





yum install iproute 





9.2 ”GitLab 的 日 常 维护 


前 面 我 们 已 经 介绍 过 GitLab 项 目 有 三 个 容器 ， 通 过 Docker Compose 组 件 对 这 三 个 容器 的 启动 顺序 进行 管理 。 但 这 还 远 远 不 够 ， 下 面 我 们 针对 GitLab 这 个 例子 ， 讲 一 下 Docker 项 目 维护 所 需要 的 常 


操作 和 注意 事项 。 


9.2.1 项 目的 创建 


我 们 原来 已 经 创建 过 GitLab 项 目 ， 配 置 文件 在 ~/gitlab/docker-compose.yml 下 ， 先 把 它 删 除 。 





用 





docker-compose -f ~/gitlab/docker-compose.yml down 





接着 备份 旧 的 docker-compose.yml 文 件 。 下 载 最 新 的 docker-compose.yml 文 件 。 





cd ~/gitlab 
mv docker-compose.yml docker-compose.yml 


wget -0 docker-compose.yml \ https://raw.githubusercontent.com/sameersbn/docker-gitlab/master/docker-compose.yml 


Vi.0 





然后 ， 通 过 docker-compose up 就 可 以 创建 并 启动 容器 组 了 。 


下 面 看 看 最 新 的 docker-compose.yml 文 件 的 


内 容 。 





postgresql: 
restart: always 
image: sameersbn/postgresql:9.4-13 
environment: 
- DB USER=gitlab 
— DB_PASS=password 
- DB NAME=gitlabhq production 
Volumes : 


- /srv/docker/gitlab/postgresql:/var/lib/postgresql 


gitlab: 
restart: always 
image: sameersbn/gitlab:8.4.4-1 
links: 
- redis:redisio 
—- postgresql:postgresql 
ports: 
— "10080:80" 
~ LOO22:22" 
environment: 
— DEBUG=false 
— TZ2=Asia/Kolkata 
— GITLAB TIMEZONE=Kolkata 


— GITLAB SECRETS DB KEY BASE=long-and-random-alphanumeric-string 


— GITLAB HOST=localhost 

- GITLAB PORT=10080 

- GITLAB SSH PORT=10022 

— GITLAB RELATIVE URL ROOT= 


— GITLAB NOTIFY ON BROKEN BUILDS=true 


- GITLAB NOTIFY PUSHER=false 
— GITLAB FEMAIL=notifications@example 


:Com 


— GITLAB EMAIL REPLY TO=noreplyQexample.com 
— GITLAB INCOMING EMAIL ADDRESS=reply@example.com 


— GITLAB BACKUP SCHEDULE=daily 
- GITLAB BACKUP TIME=01:00 

— SMTP ENABLED=false 

— SMTP_ DOMAIN=www.example.com 
— SMTP_ HOST=smtp.gmail .com 

— SMTP_ PORT=587 

— SMTP_USER=mailer@example.com 


SMTP PASS=password 
SMTP_ STARTTLS=true 
SMTP AUTHENTICATION=login 
IMAP ENABLED=false 
IMAP HOST=imap.gmail.com 
IMAP PORT=993 
IMAP USER=mailer@example.com 
IMAP PASS=password 
IMAP SSL=true 
— IMAP STARTTLS=false 
volumes: 
=- /srv/docker/gitlab/gitlab:/home/git/data 
redis: 
restart: always 
image: sameersbn/redis:latest 
volumes: 
— /srv/docker/gitlab/redis:/var/lib/redis 


1 
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和 原来 的 docker-compose.yml 文 件 相 比 ， 新 增 了 如 下 几 点 : 


' 该 配置 文件 容器 书写 的 顺序 是 postgresql、gitlab 和 tedis ， 我 们 知道 gitlab 依 赖 postgresql 和 tedis ，postgresql 和 tedis 启 动 优先 级 高 于 gitab， 所 以 ， 配 置 文件 的 书写 顺序 和 容器 实际 启动 的 顺序 没有 关 
系 ，Docker Compose 通 过 “links” 等 带 有 逻辑 关系 的 选项 确定 容器 启动 的 优先 级 。 


“ restart; always 容 器 如 果 异 常 退出 后 会 自动 重启 ， 这 主要 应 用 于 生成 环境 ， 保 证 不 间断 提供 服务 。 


“ 这 个 配置 文件 最 大 的 改动 是 使 用 “volumes” 选 项 ， 通 过 该 选项 ， 我 们 把 重要 的 文件 的 存储 位 置 从 容器 内 转移 到 容器 外 部 的 宿主 机 上 。 这 样 ， 从 容器 的 角度 来 看 ， 它 就 像 一 个 系统 分 区 使 用 挂 载 的 方式 
挂 载 到 容器 的 文件 系统 上 ， 使 用 上 不 受 任何 影响 。 对 于 宿主 机 来 说 ， 这 个 文件 就 是 本 机 文件 ， 可 以 很 方便 地 查阅 备份 。 使 用 “volumes” 选 项 方式 还 有 一 个 好 处 是 : 让 容器 和 重要 数据 分 离 ， 容 器 的 更 新 或 删 
除 ， 不 会 造成 重要 数据 的 丢失 。 


9.2.2 ”代码 版 本 控制 





GitLab 服 务 器 端 使 用 公私 钥 方式 来 认证 客户 端 git 的 请 求 。 





1. 添 加 ssh 密 钥 











客户 端 使 用 ssh 的 方式 和 GitLab 交 互 ， 在 http:/ip:10080/profile/keys/new 添 加 公 钥 。 公 钥 制 作 方法 : 








ssh-keygen -t rsa -C "$your email" 
cat ~/.ssh/id rsa.pub 








生成 公 钥 时 ， 可 以 设置 密码 为 空 。 具 体 可 参考 : 官方 文档 公 钥 设 置 http://doc.gitlab.com/ce/ssh/README.html。 
但 有 时 会 出 现 如 下 问题 : 添加 公 钥 后 ， 有 时 仍 要 求 输入 密码 的 情况 。 这 是 由 于 添加 的 公 钥 出 现 了 问题 。 
解决 方法 : 登录 到 Docker 容 器 中 (docker exec-it gitlab bash) ， 把 /home/git/.ssh 下 的 authorized_keys 内 容 清空 ， 删 除 其 余 文 件 ， 然 后 重新 添加 公 钥 。 


2. 创 建新 仓库 





接着 ， 创 建 group， 在 该 组 下 创建 项 目 ， 然 后 在 git client 端 设置 git 全 局 配置 。 





git config --global user.name "XXX" 
git config --global user.email "xxx@163.com" 





创建 仓库 并 上 传 到 GitLab。 





GITHOST=XXX .XXX .XXX .XXX 

GITPROJECT=docker-book 

mkdir $GITPROJECT 

cd $GITPROJECT 

git init 

touch README .md 

git add README .md 

git commit -m "first commit" 

git remote add origin ssh://git@${GITHOST}:10022/mydocker/${GITPROJECT} .git 
git push -u origin master 














如 果 git 项 目 已 存在 ， 可 以 通过 下 面 的 方式 直接 push 到 gitlab 上 。 




















GITHOST=xxx .XXX .XXX .XXX 

GITPROJECT=docker-book 

cd $GITPROJECT 

git remote add origin ssh://git@{GITHOST} :10022/mydocker/$ {GITPROJECT} .git 
git push -u origin master 








如 推送 时 报 如 下 错误 ， 原 因 是 git remote 的 url 有 误 。 





$ git push -u origin master 
fatal: Protocol error: bad line length character: NO s 





通过 git remote-v 检 查 下 url， 有 误 的 话 ， 先 删 “git remote rm xxx” 再 宣 











git remote add xxx ssh://git@IP:10022/xxx/xxxx.git 





9.2.3 日 常 维护 


1. 备 份 


执行 下 面 命令 备份 : 





docker run \ 


--1Link postgresql:postgresql \ 
--link redis:redisio \ 
-e 'GITLAB PORT=10080' -~e 'GITLAB SSH PORT=10022' \ 
-v /data/gitlabServer/gitlab/data:/home/git/data \ 
sameersbn/gitlab:7.6.1 app:rake gitlab:backup:create 





备份 的 文件 保存 到 /data/gitlabServer/gitlab/data/backups 目 录 下 。 
2 恢复 


通过 “BACKUP=xxx” 指 定 恢复 到 哪个 版 本 。 





docker run \ 
--name='gitlab restore' \ 


--link postgresql:postgresqgl \ 

--link redis:redisio \ 

-e 'GITLAB PORT=10080' -e 'GITLAB SSH PORT=10022' \ 

-v /data/gitlabServer/gitlab/data:/home/git/data \ 

sameersbn/gitlab:7.6.1 app:rake gitlab:backup:restore BACKUP=1427203299 





@ 注 总 
恢复 时 会 将 当前 数据 库 中 的 所 有 表 先 删 掉 再 导入 备份 tar 包 的 里 sql 文 件 ， 因 此 要 小 心 。 


若 redis、mysq|l 是 使 用 环境 变量 带 入 gitlab 容 器 的 ， 备 份 和 恢复 命令 也 类 似 ， 将 启动 gitlab 的 命令 复制 过 来 ， 修 改 --name， 添 加 一 个 --rm，CMD 改 为 gitlab: backup: create 或 gitlab: backup: 
restore 即 可 。 


注意 
不 同 版 本 备份 的 文件 不 能 相互 使 用 。 


如 是 在 gitlab7.6.1 下 备份 的 文件 ， 在 gitlab7.9.0 下 使 用 ， 报 如 下 错误 。 





GitLab version mismatch: 
Your current GitLab version (7.9.0) differs from the GitLab version in the backup! 
Please switch to the following version and try again: 
version: 7.6.1 





@ 注 意 


在 linode 上 备份 gitlab7.9.0 时 报 如 下 错误 。 





Running gitlab Take taskhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 
** Invoke gitlab:backup:create (first time) 

** TInvoke environment (first time) 

** Execute environment a 

rake aborted! 

Errno: :ENOMEM: Cannot allocate memory - git 

/usr/lib/ruby/2.1.0/open3.rb:193:in “spawn' 

/usr/1lib/ruby/2.1.0/open3.rb:193:in “popen run' 

/usr/lib/ruby/2.1.0/open3.rb:93:in “Popen37 

/home/git/gitlab/1lib/gitlab/popen.rb:23:in “Popen' 





先 停 掉 gitlab 再 执行 备份 ， 就 正常 了 。 
3. 升 级 


假如 从 GitLab7.6.1 升 级 到 7.9.0， 先 删除 原来 的 GitLab。 





docker rm -f gitlab 





备份 老 版 本 : 





docker run --name=gitlab backup -it --rm --link postgresql:postgresql \ 
-—-link redis:redisio \ 
-e 'GITLAB PORT=10080' -e 'GITLAB SSH PORT=10022' \ 
-v /data/gitlabServer/gitlab/data:/home/git/data \ 
sameersbn/gitlab:7.6.1 app:rake gitlab:backup:create 











下 载 并 启用 新 版 本 : 











docker run --name=gitlab -d --link postgresql:postgresql \ 
--link redis:redisio \ 

-e 'GITLAB PORT=10080' -~e 'GITLAB SSH PORT=10022' \ 

-p 10022:22 -p 10080:80 \ i 

-v /data/gitlabServer/gitlab/data:/home/git/data \ 
sameersbn/gitlab:7.9.0 





备份 新 版 本 。 





docker run --name=gitlab backup -it --rm --link postgresql:postgresql \ 
--link redis:redisio \ 
-e 'GITLAB PORT=10080' -e 'GITLAB SSH PORT=10022' \ 
-v /data/gitlabServer/gitlab/data:/home/git/data \ 
sameersbn/gitlab:7.9.0 app:rake gitlab:backup:create 





4 迁移 











在 机 器 A 上 执行 备份 操作 后 ， 在 /data/gitlabServer/gitlab/data/backups 目 录 下 生成 的 1427250996_gitlab_backup.tar 在 机 器 B 上 ， 机 器 A 和 机 器 B 的 GitLab 必 须 保持 一 致 。 











在 机 器 B 上 启动 GitLab， 然 后 把 机 器 A 的 备份 导入 机 器 B。 方 法 如 下 : 





docker run \ 
--name='gitlab restore' \ 


--1Link postgresql:postgresql \ 

--link redis:redisio \ 

-e 'GITLAB PORT=10080' -e 'GITLAB SSH PORT=10022' \ 

-V /data/gitlabServer/gitlab/data:/home/git/data \ 

sameersbn/gitlab:7.9.0 app:rake gitlab:backup:restore BACKUP=1427250996 


9.3 本章 小 结 






































本 介绍 了 宿主 机 如 何 初始 化 Docker 运 行 环境 ， 并 结合 GitLab 项 目 讲述 如 何 维护 Docker 项 目 备 份 、 升 级 和 迁移 等 常用 操作 。 
































第 10 章 ”Docker Swarm 容器 集群 





























Docker Swarm 项 目 开 始 于 2014 年 ， 是 Docker 公 司 推出 的 第 一 个 容器 集群 项 目 。 项 目的 核心 设计 是 将 几 台 安装 Docker 的 机 器 组 合成 一 个 大 的 集群 ， 该 集群 提供 给 用 户 管理 集群 所 有 容器 的 操作 接口 与 
使 用 一 台 Docker 几 乎 相同 。 





















































Docker Swarmkit 项 目 开始 于 2016 年 ， 是 Docker 公 司 推出 的 第 二 个 容器 集群 项 目 ， 于 Docker1.12 版 本 正式 发 布 。 虽 然 也 叫 Swarm ， 但 是 与 第 一 个 项 目 完全 不 同 。 该 项 目 直接 在 Docker Engine 上 内 嵌 
了 集群 管理 功能 ， 并 新 增 了 集群 管理 的 用 户 接口 。 


















































两 个 容器 集群 项 目 可 能 实现 了 相同 的 功能 ， 但 其 上 层 接口 还 是 有 很 大 的 不 同 ，Docker 公 司 推荐 用 户 使 用 更 适合 自己 的 项 目 ， 如 果 都 没有 使 用 过 ， 推 荐 使 用 后 者 。 另 外 ，Docker Swarm 项 目 并 没有 被 
Docker 公 司 列 为 不 推荐 的 项 目 ， 仍 然 会 继续 支持 新 的 Docker Engine 的 功能 。 本 章 重点 介绍 Docker Swarmkit 项 目 。 



















































































10.1 Swarmkit 核 心 设计 




















Swarmkit 的 架构 图 如 图 10-1 所 示 ， 项 目 目前 的 核心 设计 包括 : 
* Docker Engine 内 该 Swarmkit 提 供 集群 管理 ， 除 了 安装 Docker Engine 外 无 须 安装 其 他 任何 软件 。 使 用 Docker Engine 新 增 的 Docker Swarm 模式 客户 端 接口 管理 集群 。 
“Swarmkit 所 有 节点 对 等 ， 每 个 节点 可 选择 转化 为 Manager 或 者 Worker。Manager 节 点 内 诬 了 raft 协 议 ( 基 于 etcd 的 raft 协 议 ) 实现 高 可 用 ， 并 存储 集群 状态 。 
.集群 针对 微服 务 的 模型 进行 设计 ，Service 表 示 作 业 ，Task 表 示 作 业 的 副本 。 一 个 Service 可 以 包含 多 个 Task， 每 个 Task 是 一 个 容器 ， 同 一 个 Service 的 所 有 Task 状 态 对 等。 
“ 声明 式 的 Service 状 态 定义 ，Service 的 提交 配置 定义 了 Task 和 希望 维持 的 状态 。 
. 支持 Task 的 扩容 和 缩 容 。 
“ 自动 容错 ， 一 个 Worker 节 点 挂 了 ， 容 器 自动 迁移 到 其 他 Worker 节 点 。 
“ 支持 灰 度 升级 。 


“ 支持 跨 主机 的 网 络 模型 。 





' 依赖 Libnetwotrk 项 目 实现 集群 网 络 。 

“ 基于 Vxlan 协 议 实现 SDN。 

“ 使 用 Docker NAT 访 问 外 网 。 

“ 基于 DNS 服务 与 LVS 技 术 实 现 服 务 发 现 和 负载 均衡 。 
“ 安全 方面 ， 每 个 节点 使 用 对 等 的 TLS 相 互通 信 。 


“ TLS 证 书 是 周期 滚动 的 ， 由 Manager 节 点 下 发 。 


产 - 一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 -一 一 
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图 10-1 ”Swarmkit 架 构 


10.2 Swarmkit 集 群 搭 建 

















以 1 个 Manager 节 点 和 2 个 Worker 节 点 组 成 的 集群 为 例 。 首 先 准备 3 台 机 器 或 者 虚拟 机 ， 安 装 好 Docker Engine1.12 版 本 并 启动 。 这 里 使 用 Docker Machine 创 建 的 虚拟 机 为 例 进行 介绍 ， 读 者 可 以 根据 
实际 情况 进行 调整 。 














使 用 Docker Machine 创 建 三 台 虚 拟 机 ，Docker Machine 会 自动 下 载 最 新 的 boot2docker.iso， 启 动 的 虚拟 机 已 经 安装 好 Docker1.12 版 本 。 














$ docker-machine create -d Virtualbox managerl 
$ docker-machine create -d virtualbox workerl 
$ docker-machine create -d virtualbox worker2 
$ docker-machine ls 


NAME ACTIVE DRIVER STATE URL SWARM DOCKER ERRORS 
managerl * virtualbox Running tcp://192.168.99.101:2376 V1.12.1 
workerl “一 virtualbox Running tcp://192.168.99.102:2376 Yl 12,1 
worker2 - virtualbox Running tcp://192.168.99.103:2376 A 





10.2.1 创建 Manager 节 点 


切换 到 Manager1 节 点 ,执行 docker swarm init--advertise-addr<MANAGER-IP> 命 令 创 建新 的 Swarm 集群 ，Manager1 节 点 的 Docker 成 为 Manager 角 色 。 





# 切换 到 manager1 的 docker 环 境 

$ eval $ (docker-machine env manager1) 

$ docker swarm init --advertise-addr 192.168.99.101 

Swarm initialized: current node (9p6hf9w8mnqkxzdby03si4b22) is now a manager. 

To add a worker to this swarm, run the following command: 
docker swarm join \ 
-—-token SWMTKN-1-06fg2v27725iy81e0aj13jfaywta7b7ua8blltln77bwzoil6e-bjvj2kyr88c8na67uz173kepc \ 
192.168.99.101;2377 

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions. 











--advertise-addr 参 数 定义 Manager 节 点 使 用 192.168.99.101 作 为 自己 的 IP。docker swarm init 命 令 的 输出 非常 友好 ， 提 示 了 用 户 如 何 将 另外 一 个 节点 加 入 集群 。 








创建 Manager 节 点 后 我 们 可 以 使 用 docker info，docker node ls 命令 查看 Manager 节 点 的 状态 。docker info 命 令 新 增加 了 Swarm 模式 下 的 集群 简要 配置 和 状态 信息 。docker node ls 命令 可 以 查看 
集群 所 有 Manager 和 Worker 节 点 的 状态 。 我 们 可 以 从 下 面 的 输出 看 到 当前 集群 只 有 一 个 Manager 节 点 。 








$ docker info 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 
Swarm: active i 
NodeID: 9p6hf9w8mnqkxzdby03si4b22 
Is Manager: true 
ClusterID: Sumhbh08rzgllszvxd7eh9nba 
Managers: 1 
Nodes: 3 
Orchestration: 
Task History Retention Limit: 5 
Raft: 
Snapshot Interval: 10000 
Heartbeat Tick: 1 
Election Tick: 3 
Dispatcher: 
Heartbeat Period: 5 seconds 
CA Configuration: 
Expiry Duration: 3 months 
Node Address: 192.168.99.101 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 
$ docker node 1s 
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS 
9p6hf9w8mnqkxzqby03si4b22 * managerl Ready Active Leader 





10.2.2 ”创建 Worker 节 点 


接 下 来 切换 到 Worker1 和 Worker2 虚 拟 机 节点 ， 执 行 docker swarm join-token<TOKEN> <MANAGER-IP> 创 建 集群 的 Worker 节 点 。 





$ eval $ (docker-machine env worker1) 
$ docker swarm join --token SWMTKN-1-06fg2v27725iy81le0aj13jfaywta7b7ua8blltln77bwzoil6e-bjvj2kyr88c8na67uz173kepc 192.168.99.101:2377 
This node joined a swarm as a worker. 


$ eval $ (docker-machine env worker2) 
$ docker swarm join --token SWMTKN-1-06fg2v27725iy8le0aj13jfaywta7b7ua8blltln77bwzoil6e-bjvj2kyr88c8na67uz173kepc 192.168.99.101:2377 
This node joined a swarm as a worker. 





--token 参 数 的 值 是 从 上 一 步 创建 Manager 节 点 的 输出 获取 的 ，192.168.99.101: 2377 是 Manager 节 点 的 地 址 。 如 果 没 有 保存 上 一 步 输出 的 token， 可 以 切换 到 Manager 节 点 执行 docker swarm 


join-token worker 获 取 。 


同样 在 Manager 节 点 使 用 docker node Is 打印 集群 的 节点 状态 ， 可 以 看 到 现在 集群 有 1 个 Manager 节 点 和 2 个 Worker 节 点 。 





$ eval $ (docker-machine env manager1) 
$ docker node 1s 


ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS 
2P07afdsfe8tabwpz27sqlrlf worker2 Ready Active 
9p6hf9w8mnqkxzdby03si4b22 * managerl Ready Active Leader 


cumt545Vk2al0wagf026qiehm workerl Ready Active 





10.3” Swarmkit 基 本 功能 
下 面 简单 介绍 Swarmkit 集 群 service 的 基本 功能 。 


10.3.1 service 创建 与 删除 














切换 到 manager 节 点 ， 使 用 docker service create 命 令 创建 service。 











$ docker service create --replicas 1 --name helloworld alpine ping docker.com 
6kai8eak653bhuacomofkni7kt 





--replicas 参 数 指定 创建 1 个 保持 运行 的 task。 








我 们 可 以 使 用 docker service 1s 命 令 查看 所 有 的 service 列 表 。 











$ docker service ls 
ID NAME, REPLICAS IMAGE COMMAND 
6kai8eak653b helloworld 1/1 alpine ping docker.com 














使 用 docker service ps 和 docker service inspect 命 令 可 以 查看 service 的 简略 和 详细 信息 。 








$ docker service inspect --pretty helloworld 


ID: 6kai8eak653bhuaomofkni7kt 
Name: helloworld 
Mode: Replicated 
Replicas: 1 
Placement : 
UpdateConfig: 
Parallelism: 1 
On failure: pause 
ContainerSpec: 
Image: alpine 
Args: ping docker.com 
Resources: 
$ docker service ps helloworld 
ID NAMP IMAGE NODE DESIRED STATE CURRENT STATE ERROR 
en20bib4yn8jjkg6lb8qnsbbd helloworld.1 alpine managerl Running Running 11 minutes ago 











使 用 docker service rm 命令 可 以 删除 service。 











$ docker service rm helloworld 





10.3.2 ”service 扩 容 与 缩 容 








使 用 docker service scale 命 令 对 service 进 行 扩容 或 者 缩 容 。 下 面 是 将 上 一 步 创建 的 service 扩 容 到 3 个 task 的 代码 示例 。 











$ docker service scale helloworld=3 
helloworld scaled to 3 
$ docker service ps helloworld 


ID NAMP IMAGE NODE DESIRED STATE CURRENT STATE ERROR 
en20bib4yn8jjkg6lb8qnsbbd helloworld.1 alpine managerl Running Running 14 minutes ago 
d9fpszal81ldwuu3fx6weebki6 helloworld.2 alpine worker2 Running Preparing 5 seconds ago 
b91vkmv2oqoavfzplzs7n8xfd helloworld.3 alpine workerl Running Preparing 5 seconds ago 





10.3.3 service 灰 度 升 级 








首先 使 用 3.0.6 版 本 的 redis 镜 像 创 建 一 个 3 个 task 的 redis service。 














$ docker service create --replicas 3 --name redis --update-delay 10s redis:3.0.6 
4tip9e8p9us14s634ncbsv6y0 





--update-delay 参 数 配 置 service 灰 度 升级 的 时 间 间 隔 ， 默 认 scheduler 一 次 只 升级 一 个 task， 可 以 同时 使 用 --update-parallelism 参 数 配置 并 发 升级 的 task 数 。 查 看 redis service 是 否 已 经 启动 。 





$ docker service inspect --pretty redis 


ID: 4tip9e8p9us14s634ncbsv6y0 
Name: redis 
Mode: Replicated 
Replicas: 3 
Placement : 
UpdateConfig: 
Parallelism: 1 
Delay: 10s 
On failure: pause 
ContainerSpec: 
Image: redis:3.0.6 


Resources: 








确定 所 有 task 已 经 启动 后 ， 使 

















docker service update 命 令 将 redis service 的 所 有 task 升 级 到 3.0.7 版 本 ，--image 参 数 指 定 升级 的 版 本 。 





$ docker service update --image redis:3.0.7 redis 


redis 











使 








docker service ps 命令 查看 redis service 升 级 前 后 task 的 状态 变化 。 下 面 的 操作 输出 中 我 们 可 以 看 到 redis.1 从 Manager1 节 点 迁移 到 了 Worker2 节 点 ， 并 完成 了 task 的 镜像 升级 。 





$ docker service ps redis 
ID 

721wjyobwdv4temqryifdb216 
54cbfx39xtttn0z5802gttc0j 
86rr3cnbqk7d5ib770r4ko3pd 
Cb9p34evyo51iyalp5hkc0ex6 


NAME 


redis.1 

\ 
redis.2 
redis.3 


zedis,1 


IMAGE 


redis: 
redis: 
redis: 
redis: 





WOOW 


oooo 


NODE 
worker2 
managerl 
worker2 
workerl 


aa 


DESIRED STATE CURRENT STATE 


Running 
Shutdown 
Running 
Running 


Running 3 seconds ago 
Shutdown about a minute ago 
Running about a minute ago 
Running 3 seconds ago 


ERROR 











创建 service 时 使 











10.3.4 ”service 网 络 配置 、 域 名 解析 和 负载 均衡 





--publish 参 数 配置 容器 NAT 网 络 的 端口 映射 。 





$ docker service create --name my web --replicas 3 --publish 8080:80 nginx 


1so3flp7iphhj2ccxmvyin871 


$ docker-machine ssh managerl 
docker@managerl:~$ curl http://192.168.99.101:8080 


<!DOCTYPE html> 
<html> 
<head> 


<title>Welcome to nginx!</title> 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 


</html> 





Swarmkit 也 提供 了 Overlay 的 跨 主机 网 络 ， 使 
某 个 网 络 的 详细 信息 。 下 面 的 命令 创建 了 一 个 名 为 my-network 的 Overlay 网 络 。 

















docker network create 创 建 overlay 网 络 ， 操 作 命令 与 docker engine 相 同 。 使 

















docker network Is 查看 集群 网 络 列表 ，docker network inspect 查 看 





$ docker network create --driver overlay my-network 


Syg4chi6b6xj8dsbObi8zl0vw 





创建 了 Overlay 网 络 后 ， 我 们 可 以 在 创建 service 时 使 用 --network 参 数 配置 容器 加 入 我 们 创建 的 Overlay 网 络 。 





$ docker service create --replicas 3 --network my-network --name my-web nginx 





默认 情况 下 ， 将 service 接 入 Overlay 网 络 时 ，Swarm 会 给 service 分 配 一 个 VIP，VIP 与 一 个 包含 service 名 称 的 DNS 记 录 形 成 映射 关系 ， 这 个 service 的 所 有 container 共 享 这 条 DNS 记 录 ，Swarm 也 会 创 


建 一 个 load balance 将 访问 VIP 的 流量 均衡 到 所 有 的 task 上 。 我 们 再 启动 另 一 个 service 加 入 my-network 网 络 体验 Swarm 提供 的 域名 解析 服务 。 





$ docker service create --name my-busybox --network my-network busybox sleep 3000 


Ourwet15jfs9cphq7ggynja2y 


$ docker service ps my-busybox 
NAME, 


ID 


Ourwet15jfs9cpha7ggynja2y my-busybox.1 


IMAGE 


NODE 


DESIRED STATE CURRENT STATE 


busybox managerl Running 


Running 12 minutes ago 


ERROR 











使 
































docker exec 进 入 容器 查询 以 查询 这 个 DNS 记 录 。 直 接 查 询 service 名 称 的 域名 返回 这 个 service 的 VIP， 查 询 tasks.<service name>DNS 记 录 返 回 所 有 task 的 IP。 





$ eval $ (docker-machine env manager1) 
$ docker exec -it my-busybox.1.0urwetl5jfs9cphq7ggynja2y sh 


/ # nslookup my-web 
Server: L270.011 
Address 1: 127.0.0.11 
Name: my-web 
Address 1: 10.0.0.2 

/ # nslookup tasks.my-web 
Server: 127,.0.0.11 
Address 1: 127.0.0.11 
Name: tasks.my-web 
Address 1 
Address 2: 
Address 3 
/ # wget -0- my-web 


Connecting to my-web (10.0.0.2:80) 


<!DOCTYPE html> 
<html> 
<head> 


<title>Welcome to nginx!</title> 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 


: 10.0.0.4 my-web.2.14hggmn6m8rucruo2omt8wygt .my-network 
10.0.0.5 my-web.3.ehfb5uel34nyasq2g539uaa6g .my-network 
: 10.0.0.3 my-web.1.5yzoighbalqvio4djic464a9j .my-network 





10.3.5 Swarmkit 节 点 管理 








我 们 使 











drain worker 以 便 对 节点 做 一 些 运 维 操作 ， 比 如 换 机 器 。 首 先 查看 上 一 步 灰 | 





度 升级 后 的 redis service， 有 一 个 task 在 worker2 节 点 上 。 





$ docker service ps redis 
ID 

721wjyobwdv4temqryifdb216 
54cbfx39xtttn0z5802gttc0j 
15vhgz93khpgt7aak2uwiikfq 
86rr3cnbqk7d5ib770r4ko3pd 
a8pdozzumncwffbr7k69zzsdd 
cb9p34evyo51iyalp5hkc0ex6 


NAME, 
redis.1 


\ 


redis.1 


redis.2 


redis.2 


redis.3 


让 


redis.3 


IMAGE 


redis: 


redis 
redis 


redis: 
redis: 
redis: 





Oo ww ww WwW 


口 品 口 口 口 口 


NODE 
worker2 
managerl 
managerl 
worker2 
managerl 
workerl 


| 


DESIRED STATE CURRENT STATE 


Running 
Shutdown 
Running 
Shutdown 
Running 
Shutdown 


Running 5 minutes ago 
Shutdown 6 minutes ago 
Running 4 minutes ago 
Shutdown 5 minutes ago 
Running 3 minutes ago 
Shutdown 3 minutes ago 


ERROR 






































使 用 docker node update 命 令 对 worker2 节 点 进行 下 线 操作 。--availability drain 表 示 worker 节 点 为 不 可 用 状态 。 
$ docker node update --availability drain worker2 

worker2 

使 用 docker node inspect 命 令 查看 worker2 节 点 的 可 用 性 是 否 处 于 drain 状 态 。 

















$ docker node inspect --pretty worker2 


ID: 
Hostname: worker2 
Joined at: 
Status: 
State: Ready 
Availability: Drain 


2p07afdsfe8tabwpz27sqlrlf 


2016-09-19 07:13:53.507177094 +0000 utc 


Platform: 
Operating System: linux 


Architecture: x86_64 
Resources: 
CPUs: 本 
Memory: 995.9 MiB 
Plugins: 
Network: bridge, host, null, overlay 
Volume: local 


Engine Version: 1.12.1 
Engine Labels: 


— provider = virtualbox 





worker2 节 点 变 为 drain 状 态 后 ，scheduler 会 把 drain 状 态 节点 上 的 task 迁 移 到 其 他 节点 。 片 刻 后 ， 观 察 task 的 迁移 状况 ， 可 以 发 现 之 前 运行 在 worker2 节 点 的 redis.1task 已 经 迁移 到 worker1 节 点 了 。 





$ docker service ps redis 





ID NAME, IMAGE NODE 
77digxshezgplv5k4pfxz1863 redis.1 redis:3.0.7 workerl 
721lwjyobwdv4temqryifdb216 \_ redis.l redis:3.0.7 worker2 
54cbfx39xtttn0z5802gttc0j \ redqis.1 redis:3.0.6 managerl 
15vhgz93khpgt7aak2uwiikfq redis.2 redis:3.0.7 managerl 
86rr3cnbqk7d5ib770r4ko3pd \_ redis.2 redis:3.0.6 worker2 
a8pdozzumncwffbr7k69zzsdd redis.3 redis:3.0.7 managerl 
cb9p34evyo51iyalpP5hkc0ex6 \_ redis.3 redis:3.0.6 workerl 


DESIRED STATE CURRENT STATE ERROR 
Running Preparing 21 seconds ago 
Shutdown Shutdown 21 seconds ago 
Shutdown Shutdown 7 minutes ago 

Running Running 4 minutes ago 

Shutdown Shutdown 6 minutes ago 

Running Running 4 minutes ago 

Shutdown Shutdown 4 minutes ago 












































既然 能 将 节点 设置 为 不 可 用 状态 ， 那 么 我 们 也 能 将 它 重 新 设置 为 可 用 状态 ，docker node update--availability active worker 命 令 可 上 


node inspect 命 令 可 以 查看 到 节点 状态 切换 为 Active 状 态 。 




















将 drain node 恢 复 为 可 用 节点 。 





复 完成 后 ， 使 




















docker 





$ docker node update --availability active worker2 


worker2 
$ docker node inspect --pretty worker2 
ID: 2p07afdsfe8tabwpz27sqlrlf 
Hostname: worker2 
Joined at: 2016-09-19 07:13:53.507177094 +0000 utc 
Status: 
State: Ready 
Availability: Active 
Platform: 
Operating System: linux 
Architecture: X86 64 
Resources: 本 
CPUs : 1 
Memory: 995.9 MiB 
Plugins: 
Network: bridge, host, null, overlay 
Volume: local 


Engine Version: Tal21 
Engine Labels: 


— provider = virtualbox 





10.3.6 ”Manager 节 点 和 Worker 节 点 角色 切换 


Docker Swarm 模 式 提供 了 promote/demote 命 令 对 节点 的 角色 进行 管理 ， 方 便 对 Manager 节 点 进行 容 灾 处 理 。docker node promote 命 令 将 Worker 节 点 升级 为 Manager 节 点 。 





$ docker node 1s 


ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS 


14e2n6kebft5hs8arc5njm7ti * managerl Ready Active 
aqbfvym02d85exu7i8th9yklo workerl Ready Active 
bjfb223324jjle3fprhvxg7of worker2 Ready Active 

$ docker node promote workerl 

Node workerl promoted to a manager in the swarm. 

$ docker node 1s 

ID HOSTNAME STATUS AVAILABILITY 
14e2n6kebft5hs8arc5njm7ti * managerl Ready Active 
aqbfvym02d85exu7i8th9yklo workerl Ready Active 
bjfb223324jjle3fprhvxg7of worker2 Ready Active 


Leader 


MANAGER STATUS 
Leader 
Reachable 











相反 的 ,使 用 docker node demote 命 令 可 以 将 Manager 节 点 降级 为 Worker 节 点 。 











$ docker node demote workerl 
Manager workerl demoted in the swarm. 
$ docker node 1s 


Leader 


ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS 
14e2n6kebft5hs8arc5njm7ti * managerl Ready Active 
aqbfvym02d85exu7i8th9yklo workerl Ready Active 
bjfb223324jjle3fprhvxg7of worker2 Ready Active 











使 用 docker swarm leave 命 令 可 以 将 节点 的 docker engine 退 出 swarm 状 态 。 











$ docker swarm leave 
Node left the swarm. 





10.4 ”Swarmkit 负 载 均衡 原理 分 析 


按照 上 一 节 介绍 的 负载 均衡 的 内 容 ， 我 们 首先 创建 一 个 Overlay 网 络 ， 再 创建 一 个 包含 3 个 task 的 service 加 入 这 个 网 络 。 








$ docker network create --driver overlay my-network 


$ docker service create --replicas 3 --network my-network --name my-web nginx 
$ docker service create --name my-busybox --network my-network busybox sleep 3000 





4 个 task 的 基本 信息 如 表 10-1 所 示 。 


表 10-1 4 个 task 的 基本 信息 


service node 
my-web 02:42:0a:00:00:05 workerl 
my-web 02:42:0a:00:00:03 worker2 
my-web 10.0.0.4 10.0.0.2 02:42:0a:00:00:04 worker2 
my-busybox worker? 


分 析 网 络 原 理 最 直接 的 方法 还 是 使 用 Linux 提 供 的 ip/bridge/iptables/ipvs 等 网 络 相 关 的 命令 去 查看 网 络 的 配置 。 分 别 使 用 这 些 命令 在 各 节点 的 host/overlay/container network namespace 查 看 一 


















































ip link/address/route/neigh 

ip netns exec overlay namespace/container namespace 
bridge fdb 

iptables filter/nat/mangle 

ipvs 














由 结果 可 以 发 现 ， 在 原来 的 Overlay 网 络 配置 基础 上 ， 多 了 下 面 的 一 些 配置 。 


' 四 个 容器 的 network namespace 都 增加 了 ipvs 配 置 ， 并 且 四 个 容器 ipvs 配 置 都 相同 。 





root@workerl:/home/docker# ip netns exec 5cca2a34de2b ipvsadm 
IP Virtual Server version 1.2.1 (size=4096) 
Prot LocalAddress:Port Scheduler Flags 


-> RemoteAddress:Port Forward Weight ActiveConn InActConn 
FWM 257 rr 

-> 10.0.0.3:0 Masq 二 0 0 

-> 10.0.0.4:0 Masq 让 人 0 

-> 5 Masq 可 0 0 
FWM 260 rr 

-> 10.0.0.750 Masq 0 0 





“ 容器 nat 表 的 POSTROUTING 链 增加 了 一 条 ipvs 规 则 -A POSTROUTING-d10.0.0.0/24-m ipvs--ipvs-j SNAT--to-source10.0.0.5 (127.0.0.11 的 规则 是 docker dns 服 务 增加 的 规则 ) ， 每 个 容器 这 条 规则 的 --to- 
soutce 都 是 容器 自己 的 IP。 


root@workerl1: /home/docker# ip netns exec 5cca2a34de2b iptables -S -t nat 

-P PREROUTING ACCEPT 

-~P INPUT ACCEPT 

-~P OUTPUT ACCEPT 

-P POSTROUTING ACCEPT 

-N DOCKER OUTPUT 

-N DOCKER_POSTROUTING 

-A OUTPUT -d 127.0.0.11/32 -j DOCKER OUTPUT 

-A POSTROUTING -d 127.0.0.11/32 -j DOCKER_POSTROUTING 

-A POSTROUTING -d 10.0.0.0/24 -m ipvs --ipvs -j SNAT --to-source 10.0.0.5 

-A DOCKER OUTPUT -d 127.0.0.11/32 -p tcp -m tcp --dport 53 -]j DNAT --to-destination 127.0.0.11:38534 
-A DOCKER OUTPUT -d 127.0.0.11/32 -p udp -m udp --dport 53 -j DNAT --to-destination 127.0.0.11:39353 
-A DOCKER POSTROUTING -s 127.0.0.11/32 -p tcp -m tcp --sport 38534 -j SNAT --to-source :53 

-A DOCKER POSTROUTING -s 127.0.0.11/32 -p udp -m udp --sport 39353 -j SNAT --to-source :53 





“ 容器 mangle 表 OUTPUT 链 增加 了 mark 规 则 ， 四 个 容器 规则 相同 。 





root@workerl:/home/docker# ip netns exec 5cca2a34de2b iptables -S -t mangle 
-P PREROUTING ACCEPT 

-P INPUT ACCEPT 

-P FORWARD ACCEPT 

-P OUTPUT ACCEPT 

-P POSTROUTING ACCEPT 

-A OUTPUT -d 10.0.0.2/32 -j MARK --set-xmark Ox101/0xffffffff 

-A OUTPUT -d 10.0.0.6/32 -j MARK --set-xmark Ox106/0xffffffff 





' 容器 Overlay veth 网 卡 多 了 一 个 secondary IP，IP 地 址 是 各 个 setvice 的 VIP。 





root@workerl:/home/docker# ip netns exec 5cca2a34de2b ip ad 
1: 1o: <LOOPBACK,UP,LOWER UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 
inet 127.0.0.1/8 scope host lo 
valid 1ft forever preferred 1ft forever 
inet6 ::1/128 scope host 
valid 1ft forever preferred 1ft forever 
25: eth06If26: <BROADCAST, MULTICAST, UP,LOWER UP> mtu 1450 qdisc noqueue state UP group default 
link/ether 02:42:0a:00:00:05 brd ff:ff:ff:ff:ff:ff 
inet 10.0.0.5/24 scope global eth0 
valid 1ft forever preferred 1ft forever 
inet 10.0.0.2/32 scope global eth0 
valid 1ft forever preferred lft forever 
inet6 fe80::42:aff:fe00:5/64 scope link 
valid 1ft forever preferred lft forever 
27: ethl@if28: <BROADCAST, MULTICAST, UP, LOWER UP> mtu 1500 qdisc noqueue state UP group default 
link/ether 02:42:ac:12:00:03 brd ff:ff:ff:Ef:ff:ff 
inet 172.18.0.3/16 scope global ethl 
valid 1ft forever preferred lft forever 
inet6 fe80::42:acff:fel2:3/64 scope link 
valid 1ft forever preferred lft forever 

















如 图 10-2 所 示 ， 从 以 上 增加 的 网 络 配 置 不 难看 出 ， 这 里 使 用 了 LVS NAT 模 式 ， 在 各 容器 的 network namespace 实 现 了 负载 均衡 ， 访 问 VIP 时 报 文 IP 的 替换 发 生 在 发 起 访问 的 容器 中 。 
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SelVlce 
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图 10-2 容器 负载 均衡 原理 


我 们 可 以 类 似 地 做 个 简单 的 实验 ， 三 个 容器 或 者 三 台 机 器 ， 假 设 被 访问 的 两 个 容器 |P 分 别 为 10.250.1.2，10.250.1.3， 给 它们 分 配 10.250.1.4 的 VIP， 使 用 LVS 做 NAT 负 载 均衡 。 在 发 起 访问 的 容器 中 配置 
下 面 的 iptables 和 ipvs 规 则 之 后 ， 即 可 以 实现 通过 轮 询 VIP10.250.1.4 访 问 10.250.1.2 和 10.250.1.3 两 个 容器 。 





iptables -t mangle -A OUTPUT -d 10.250.1.4/32 -j MARK --set-mark 1 
ipvsadm -A -f 1 -s rr 

ipvsadm -a -f 1 -r 10.250.1.2:0 -m -w 1 

ipveadn =a ~E 1 ~E 10.250,.1.3:0 ~m =w 1 








上 面 的 规则 中 -set-mark1 使 报 文通 过 OUTPUT 链 时 打上 1 的 标记 ，ipvsadm-A-f1-s rr 创建 了 FWMARK 的 virtual server， 只 要 报 文 有 1 的 标记 ， 就 会 应 用 ipvs 的 规则 ， 改 变 dest IP。 新 加 的 eth0 的 
secondary IP 和 SNAT 规 则 是 给 容器 通过 VIP 访 问 到 自己 时 使 用 。 

















10.5 ”本章 小 节 


本 章 主要 介绍 了 Docker Swarm 容器 集群 的 核心 设计 和 基本 功能 ， 然 后 对 负载 均衡 等 重要 功能 的 原理 进行 了 分 析 。 昌 然 Docker Swarm 项 目 相 比 于 Mesos/Kubernetes 项 目 还 比较 年 轻 和 不 成 熟 ， 但 是 
项 目 当 前 的 开发 迭代 速度 非常 快 ， 项 目的 架构 和 设计 也 有 其 独特 和 创新 之 处 ， 值 得 我 们 学 习 和 思考 。 


第 11 章 ”Docker 插 件 开发 

















户 可 以 使 用 第 三 方 的 插件 扩展 Docker Engine 的 功能 。 目 前 Docker1.12 正 式 版 本 支持 authorization，network，volume 插 件 ，experimental 版 本 还 支持 graphdriver 插 件 。 





















































目前 社区 已 经 实现 了 很 多 开源 的 Docker 揪 件 ， 详 细 的 列表 读者 可 以 参考 https://docs.docker.com/engine/extend/plugins/。 如 果 这 些 插件 不 能 满足 读者 的 需求 ， 我 们 可 以 实现 自己 的 Docker 揪 件 ， 
本 章 主 要 介绍 如 何 开发 一 个 Docker 插 件 。 








11.1 ”Docker 揪 件 工作 机 制 | 














图 11-1 表 示 Docker 插 件 的 工作 流程 。 当 用 户 使 用 docker volume/network 命 令 使 用 第 三 方 插件 时 ， 首 先 Docker 客 户 端 程序 向 Docker 守 护 (docker daemon) 进程 发 出 HTTP 请 求 ，Docker 守 护 进程 
收 到 请 求 后 如 果 发 现 操作 的 对 象 是 第 三 方 插件 ， 便 会 从 特定 的 目录 文件 中 发 现 匹配 的 插件 进程 地 址 并 向 其 发 起 HTTP 请 求 。 下 面 几 个 小 节 将 对 这 个 过 程 进行 详细 的 介绍 。 


















































11.1.1 ”Docker 插 件 接口 


Docker 插 件 是 单独 的 一 个 进程 ， 不 是 docker daemon 进 程 的 一 个 模块 。 插 件 进 程 与 docker daemon 进 程 运行 于 同一 台 机 器 或 者 不 同 的 机 器 上 ， 通 过 注册 特定 的 文件 到 docker daemon 的 机 器 上 ,使 
得 docker daemon 进 程 发 现 插 件 进程 。 插 件 进程 可 以 运行 在 容器 中 ， 或 者 容器 外 ， 目 前 推荐 使 用 后 者 。 




















Docker 守护 进程 






读 取 文件 发 现 插件 地 址 







/run/docker/plugins/flocker.sock 





docker volume create -d flocker --name voll 
图 11-1 Docker 插件 工作 原理 


11.1.2 “插件 发 现 机 制 


docker daemon 进 程 通 过 查询 插件 目录 发 现 插件 进程 ， 目 前 支持 三 种 格式 的 文件 : 
.sock 文 件 ，Unix domain socket。 
“ .spec 文 件 ， 普 通 文件 ， 文 件 中 指定 了 插件 进程 的 URL， 例 如 ，unix: ///other.sock 或 者 tcp: //localhost: 8080。 


.json 文件 ， 包 含 了 插件 的 json 描 述 。 





使 用 .sock 文 件 的 插件 必须 与 docker daemon 进 程 运行 在 同一 台 机 器 上 ， 使 用 .spec 文 件 或 者 json 文件 的 插件 可 以 运行 在 另 一 台 机 器 上 。.sock 文 件 必 须 位 于 /run/docker/plugins 目 录 下 ，.spec 文 件 
和 .json 文 件 必 须 位 于 /etc/docker/plugins 或 者 /usr/lib/docker/plugins 目 录 下 。 









































文件 名 称 就 是 揪 件 的 名 称 ， 例 如 ， 使 用 /run/docker/plugins/flocker.sock 文 件 的 叫 flock 插 件 。 也 可 以 在 /run/docker/plugins 目 录 下 创建 子 目 录 ， 把 /run/docker/plugins/flocker 目 录 挂 载 到 flock 插 
件 的 容器 中 ， 然 后 创建 /run/docker/plugins/flocker/flocker.sock 文 件 。 








Docker 首 先 从 /run/docker/plugins 目 录 查 找 .sock 文 件 ， 如 果 查 找 不 到 .sock 文 件 ， 再 从 /etc/docker/plugins 目 录 和 /usr/lib/docker/plugins 查 找 .spec 和 ,json 文件。 如 果 查 找到 其 中 一 个 文件 ， 就 停 
止 查找 插件 。 


11.1.3 ”JSON 文件 格式 


JSON 文 件 格式 如 下 所 示 。TLSConfig 字 段 是 可 选 的 ， 如 果 设置 了 这 个 字段 ， 才 会 进行 TLS 认 证 。 





"Name": "plugin-example", 
"Adgdr": "https://example.com/docker/plugin", 
"TLSConfig": { 


"InsecureSkipVerify": false, 

"CAFile": "/usr/shared/docker/certs/example-ca.pem", 
"CertFile": "/usr/shared/docker/certs/example-cert .pem", 
"KeyFile": "/usr/shared/docker/certs/example-key.pem", 











11.1.4 “插件 的 生命 周期 








插件 通常 应 该 在 docker daemon 启 动 之 前 启动 ， 在 docker daemon 停 止 后 停止 。 如 果 使 用 systemd 管 理 插件 进程 ， 可 以 使 用 systemd 的 dependencies 功 能 管理 插件 和 docker 的 启动 和 停止 顺序 。 但 是 
启动 顺序 并 没有 那么 严格 ， 因 为 docker daemon 并 不 是 启动 的 时 候 就 去 激活 插件 ， 而 是 使 用 按 需 加 载 的 方式 去 激活 插件 ， 也 就 是 说 只 有 用 户 使 用 插件 时 (例如 : docker run 一 volume-driver=foo， 使 用 
foo volume 揪 件 ) ，docker daemon 才 会 激活 插件 进程 。 所 以 只 需要 保证 插件 进程 在 用 户 使 用 前 启动 就 可 以 。 







































































11.1.5 利用 systemd socket activation 功 能 管理 插件 











可 以 利用 systemd 的 socket activation 功 能 管理 插件 的 启动 顺序 ，Docker 提 供 的 插件 sdk 已 经 支持 socket activation。 使 用 这 种 方式 需要 编写 两 个 文件 ，service 文 件 和 socket 文 件 。service 文 件 如 下 
(例如 /lib/systemd/system/your-plugin.service) : 





/1ib/systemd/system/your-plugin.service) : 

Unit] 

Description=Your plugin 

Before=docker .service 

After=network.target your-plugin.socket 
Requires=your-plugin.socket docker.service 
Servicel] 

ExecStart=/usr/1ib/docker/your-plugin 

Instal1] 

WantedBy=multi-user.target 

socket 文 件 如 下 (例如 /1ib/systemd/system/your-plugin.socket) : 
Unit] 

Description=Your plugin 

Socket] 
ListenStream=/run/docker/plugins/your-plugin.sock 
Instal1] 

WantedBy=sockets.target 








这 种 方式 插件 将 在 docker daemon 真 正 去 连接 socket 时 才 启 动 。 


11.1.6 ” ”API 格式 








插件 API 使 用 HTTP JSON 格 式 。docker daemon 主 动向 插件 发 起 HTTP 请 求 ， 插 件 需要 实现 一 个 HTTP server， 去 监听 上 文 的 Unix socket。 所 有 的 HTTP 请 求 都 是 POST 请 求 。API 版 本 通过 Accept 请 求 
头发 送 ， 目 前 这 个 头 被 设置 为 “application/vnd.docker.plugins.v1+json” 











插件 通过 handeshake api 激 活 。 





/Plugin.Activate 
request: empty body 
response: 
{ 
"Implements": ["VolumeDriver"] 


bE 








HTTP response 是 这 个 插件 实现 的 docker 揪 件 类 型 的 集合 。 激 活 插件 后 ，docker 会 向 揪 件 发 起 相关 具体 的 请 求 。“implements” 支 持 的 值 有 authz、NetworkDriver、VolumeDriver， 即 权限 插件 、 
网 络 插件 和 数据 卷 插件 。 















































Docker 对 插件 接口 的 HTTP 请 求 采取 指数 增长 重 试 间隔 的 重 试 策略 ， 最 长 重 试 间隔 30 秒 。Docker 官 方 提供 了 一 个 插件 的 SDK 工 具 https://github.comy/dockervgo-plugins-helpers， 这 个 SDK 定 义 好 了 
各 插件 的 API 接 口 和 参数 ， 读 者 可 以 使 用 它 快 速 开发 插件 。 
























































11.2 ”Docker volume 揪 件 开发 














由 于 linux 内 核 没有 对 /proc/meminfo、/proc/stat 等 文件 中 的 资源 数据 实现 按 容器 分 别 统计 ， 在 docker 容 器 中 使 用 free、top 等 命令 显示 的 资源 使 用 情况 依然 是 主机 的 整体 情况 。LXC 技 术 实现 了 
lxcfs (https://github.com/Ixc/Ixcfs) ， 利 用 fuse 实 现 用 户 态 的 文件 系统 。Ixcfs 从 容器 的 cgroup 状 态 文件 中 读 取 数据 来 反应 容器 的 内 存 、CPU 等 资源 的 实际 使 用 情况 ， 为 容器 提供 仿真 文件 替换 实际 
的 /proc/meminfo、/proc/stat。 






























































下 面 我 们 借助 同样 的 技术 来 实现 容器 中 /proc/meminfo 的 隔离 ， 并 且 将 这 个 功能 通过 docker 提 供 的 volume 插 件 机 制 来 提供 给 容器 使 用 。cgroupfshttps://github.com/chenchun/cgroupfs 是 作者 
go 语言 实现 的 类 似 lxcfs 的 用 户 态 文件 系统 。 我 们 借助 这 个 go 语言 工具 包 来 实现 这 个 volume 揪 件 。 























11.2.1 cgroupfs 使 用 方法 和 工作 原理 














首先 介绍 下 cgroupfs 的 使 用 方法 ， 操 作 流 程 如 下 面 的 代码 框 所 示 。 先 创建 一 个 容器 ， 设 置 内 存 上 限 为 15M， 保 存 容器 id。 切 换 到 第 二 个 控制 台 窗 口 ， 创 建 /tmp/cgroupfs 目 录 ， 并 启动 cgroupfs 进 程 。 
再 切换 回 第 一 个 窗口 ， 启 动容 器 ， 在 容器 中 查看 总 内 存 上 限 和 已 经 使 用 的 内 存 ， 可 以 看 到 内 存 上 限 为 我 们 设置 的 15M ， 已 使 用 为 容器 实际 使 用 的 2M 内 存 。 



















































































container id=“docker create -v /tmp/cgroupfs/meminfo:/proc/meminfo -m=15m ubuntu sleep 2000 
## In the second console tab 

mkdir /tmp/cgroupfs 

./cgroupfs /tmp/cgroupfs /docker/$container id 

## Go to the first tab 

docker start $container id 

## Take a look at /tmp/cgroupfs/meminfo now 

## cgroupfs file system should be able to show the memory usage of the container 

cat /tmp/cgroupfs/meminfo 


MemTotal: 15360 kB 
MemF ree: 13432 kB 
MemAvailable: 13432 kB 
Buffers: 0 kB 
Cached: 1804 kB 
SwapCached: 0 kB 


## Enter docker container, you should see free is showing the real usage 
docker exec -it $container id bash 
root@251d4d18bca6:/# free =-m 


total used free shared buffers cached 
Mem: 过 EE 12 0 0 
-/+ buffers/cache: 0 14 
Swap: 0 0 0 
























































cgroupfs 的 工作 原理 如 图 11-2 所 示 。cgroupfs 利 用 内 核 的 fuse 功 能 实现 了 用 户 态 的 文件 系统 。 启 动 Cgroupfs 进 程 时 ， 第 一 个 参数 /tmp/cgroupfs 表示 cgroupfs 使 用 哪个 目录 作为 其 文件 系统 的 目 
录 ， 第 二 个 参数 /docker/$container_id` 表 示 cgroupfs 从 哪个 cgroup 中 读 取 cgroup 状 态 数据 。Cgroupfs 进 程 在 主机 /tmp/cgroupfs/ 目 录 下 创建 meminfo/stat/cpuinfo 等 文件 。 我 们 
将 /tmp/cgroupfs/meminfo 挂 载 到 容器 中 ， 读 取 meminfo 文 件 内 容 时 ， 会 调用 内 核 中 的 vfs 接 口 。vfs 发 现 这 些 文件 是 fuse 文 件 系统 的 文件 时 ， 向 fuse 模 块 发 送 读 请 求 。 之 后 内 核 的 fuse 模 块 向 用 户 态 的 
cgroupfs 进 程 发送 读 请 求 ， 最 后 cgroupfs 通 过 读 取 cgroup 的 相关 文件 ， 获 取 该 容器 的 cgroup 内 存 信息 并 返回 。 
























































read value 
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bind mount 





图 11-2 ”cgroupfs 原 理 























用 户 态 






cat /tmp/cgroupfs/meminfo TOUD - /cgroup/memory/memory.limit in _ bytes 


内 核 态 


以 上 面 的 方式 已 经 可 以 给 容器 提供 仿真 的 /proc/meminfo 等 文件 了 ， 但 是 这 种 方式 需要 去 管理 cgroupfs 进 程 的 启动 和 停止 ， 能 不 能 用 更 加 Docker 的 方式 来 实现 这 个 功能 呢 ? 答案 是 肯定 的 ， 我 们 可 以 


实现 cgroupfs 的 docker volume 插 件 ， 将 cgroupfs 进 程 的 启动 和 停止 替换 为 对 docker volume 的 操作 。 


11.2.2 docker volume 接 口 








Docker 提 供 了 docker volume 子 命令 对 volume 进 行 操作 。 下 面 的 命令 表示 使 用 local volume 插 件 创建 一 个 名 称 是 foo 的 volume， 并 传 入 了 一 个 type=brtfs 的 参数 。 

















docker volume create - -driver local -~ opt type=btrfs --name foo 





同样 的 ， 还 提供 了 docker volume rm 命令 删除 volume，docker volume ls、docker volume inspect 命 令 查看 volume 列 表 和 volume 状 态 。 

















介绍 完 docker volume 的 用 户 操作 接口 ， 我 们 再 来 看 看 Docker volume 插 件 的 接口 。Volume 接 口 主要 包含 了 下 面 8 个 HTTP 接 口 。Capabilities 接 口 是 在 docker1.12 版 本 引入 的 ，scope 只 有 global 或 者 






























































local 两 个 值 ， 表 示 volume 揪 件 是 否 支持 跨 主机 的 volume。Create/remove 接 口 在 使 用 创建 和 删除 volume 时 被 调用 ，mount/unmount 接 口 在 使 用 该 volume 的 容器 启动 和 停止 时 volum 











e 时 被 调用 。 





/VolumeDriver.Create 
Request: json { "Name" 





"volume name", "Opts": {} } 


Response: json { "Err": ™ 
/VolumeDriver .Remove 

Request: json { "Name": "volume name" } 
Response: json { "Err": "" } 


/VolumeDriver .Mount 
Request: json { "Name": "volume name", "ID": "b87d7442095999a92b65b3d9691e697b61713829cc0ffdlbb72e4ccd51aa4d6c" 1} 


Response: json { "Mountpoint": ™/path/to/directory/on/host", "Err": "" } 
/VolumeDriver.Path 

Request: json { "Name": "volume name" } 

Response: json { "Mountpoint": ™/path/to/directory/on/host", "Err": "™" } 


/VolumeDriver .Unmount 
Request: json { "Name": "volume name", "ID": "b87d7442095999a92b65b3d9691e697b61713829cc0ffdlbb72e4ccd51aa4d6c" } 


Response: json { "Err": "" } 

/VolumeDriver.Get 

Request: json { "Name": "Volume name" } 

Response: json { "Volume": { "Name": "Volume name", "Mountpoint": "/path/to/directory/on/host", "Status": {} }, "Err": "" } 


/VolumeDriver.List 

Request: json {} 

Response: json { "Volumes": [ { "Name": "volume name", "Mountpoint": "/path/to/directory/on/host" } ], "Err": "" } 
/VolumeDriver .Capabilities 

Request: json {} 

Response: json { "Capabilities": { "Scope": "global" } } 





11.2.3 ”实现 cgroupfs-volume volume 插 件 














按照 上 文 的 介绍 ， 我 们 使 用 sdk 包 和 cgroupfs 包 来 实现 cgroupfs-volume volume 揪 件 。 使 用 sdk 只 需要 两 步 : 
' 定义 volumedriver 实 现下 面 代 码 中 的 Volume.Driver 接 口 ， 通 过 这 个 driver 创 建 handler 对 和 象 。 


' 选择 使 用 TCP 或 者 unix socket 提 供 服 务 。 





d := MyVolumeDriver{} 


h := volume.NewHandler (d) 
h.ServeTCP ("test volume", ":8080") 
h.ServeUnix ("root", "test volume") 


type Driver interface { 
Create (Request) Response 
List (Request) Response 
Get (Request) Response 
Remove (Request) Response 
Path (Request) Response 
Mount (MountRequest) Response 
Unmount (UnmountRequest) Response 
Capabilities (Request) Response 





要 将 cgroupfs 的 功能 包装 成 volume driver 主 要 需要 考虑 它 的 两 个 参数 如 何 传递 的 问题 。 第 一 个 参数 是 cgroupfs 创 建 的 用 户 态 文件 系统 存放 在 哪个 目录 ， 第 二 个 参数 是 从 哪个 cgroup 获 取 数 据 。 第 一 个 











问题 比较 好 解决 ，docker sdk 定 义 了 volume.DefaultDockerRootDirectory 参 数 ， 它 的 值 是 /var/lib/docker-volumes， 我 们 可 以 在 这 个 目录 下 加 两 级 目录 /cgroupfs/$volume_name 以 
揪 件 和 不 同 的 volume。 























区 分 不 同 的 volume 


第 二 个 问题 主要 是 containerid 如 何 传递 给 cgroupfs 插 件 进程 。Docker 给 每 个 容器 分 配 的 cgroup 目 录 是 类 似 /docker/$containerid 目 录 或 者 其 他 形式 ， 不 过 无 论 哪 种 目录 格式 ， 只 有 $containerid 这 个 
目录 字符 串 在 创建 容器 前 是 无 法 获知 的 ， 只 有 创建 后 才能 得 到 。 而 如 果 容 器 要 使 用 volume， 那 么 在 创建 容器 前 需要 创建 volume。 所 以 ， 容 器 要 使 用 volume， 就 需要 先 创建 volume， 但 是 创建 volume 时 又 
















































































需要 将 containerid 作 为 参数 传 给 cgroupfs 模 块 ， 那 么 我 们 如 何在 创建 容器 前 得 知 其 containerid? 从 上 一 节 我 们 知道 mount 接 口 并 不 是 创建 容器 时 就 调用 的 ， 而 是 在 启动 容器 时 才 会 调 
































， 所 以 可 以 利用 这 





点 ， 约 定 使 用 一 个 文件 ， 创 建 volume 时 告诉 volume 插 件 使 用 这 个 文件 读 取 containerid， 创 建 容器 后 将 containerid 写 入 这 个 文件 。 当 启动 容器 调用 volume 的 mount 接 口 时 ，cgroupfs volume 插 件 正好 可 
以 从 这 个 文件 中 读 取 到 containerid， 从 而 调用 cgroupfs 包 创建 fuse 的 仿真 文件 系统 。docker create 和 docker run 命 令 恰好 提供 了 cidfile 这 个 参数 ， 如 果 创 建 容器 时 增加 cidfile，docker 会 在 创建 容器 后 将 





























容器 的 cid 写 入 参数 指定 的 文件 中 。 由 于 使 用 了 cidfile 参 数 ， 我 们 可 以 将 docker create 和 docker start 合 成 一 步 ， 那 么 按照 设计 ， 最 后 的 操作 过 程 会 是 这 样 : 

















docker volume create -d cgroupfs volume --name myvolume -0 cidfile=/tmp/containerid 
docker run -d --cidfile /tmp/containerid --volume-driver=cgroupfs volume -v myvolume:/proc/meminfo -m=15m chenchun/hello /hello 





做 好 了 设计 ， 编 码 就 很 简单 了 。 定 义 volumeServer struct 实 现 volume.Driver 接 口 。 这 个 结构 体 只 有 一 个 volumes 字 段 存储 创建 的 volume。 在 create 方 法 中 仅 记 录 创 建 了 这 个 volume， 在 mount 方 法 
中 调用 cgroupfs 包 创建 fuse 文 件 系统 。 


























type volumeServer struct { 
Volumes map[string]*volume.Request 

} 

func (s *volumeServer) Create (req volume.Request) volume.Response { 
s.volumes[req.Name] = &req 
return volume.Response{} 

} 


func (s *volumeServer) Mount (req volume.MountRequest) volume.Response { 


resp := volume.Response{} 
if r, ok := s.volumes[req.Name]; ok { 
if err := mount (req.Name, memoryCgroupPath(r)); err != nil { 
resp.Err = err.Error () 
} else { 


resp.Mountpoint = mountPoint (req.Name) 
} 
} else { 
resp.Err = "volume does not exist" 


return resp 
} 
func (s *volumeServer) List (req volume.Request) volume.Response { 
Var Volumes []*volume.Volume 
for v, _ := range s.volumes { 
Volumes = append (volumes, &volume.Volume{Name: Vv, Mountpoint: mountPoint (v)}) 
} 


return volume.Response{Volumes: volumes} 





注 : 本 节 的 代码 可 以 在 https://github.com/chenchun/cgroupfs-volume/ 下 载 。 


11.3 本章 小 节 


本 章 主要 介绍 了 docker 插 件 的 工作 机 制 和 实现 方法 ， 然 后 通过 举例 详细 讲解 了 如 何 实现 一 个 docker volume 插 件 。 


三 部 分 案例 篇 


' 第 12 章 ”Docker 离线 系统 应 用 案例 
“第 13 章 Etcd、Cadvisor 和 Kubernetes 实 践 
“ 第 14 章 ”构建 Docker 高 可 用 及 自动 发 现 架构 实践 


“ 第 15 章 ”Docker Overlay Netwotk 实 践 


第 12 章 ”Docker 离 线 系统 应 用 案例 





“十 巴比伦 王 颁 布 了 汉 漠 拉 比 法 典 ， 刻 在 黑色 的 玄武 宕 ， 距 今 已 经 三 干 七 百 多 年 ， 你 在 柚 窗 前 ， 凝 视 碑文 的 字眼 ， 我 却 在 旁 静 静 欣 赏 你 那 张 我 深 爱 的 脸 …..”， 想 必 大 家 都 听 过 这 首 周杰伦 演唱 的 《 爱 在 
西元 前 》， 由 方 文山 填词 ， 歌 词 生动 美妙 、 不 落 俗 套 。 作 为 周杰伦 的 御用 作词 人 ， 方 文山 其 实 只 有 高 中 学 历 ， 但 他 才华 横 溢 ， 创 作 了 不 少 经 典 之 作 ， 有 些 作品 甚至 被 收录 进 了 学 校 的 课本 中 。 那 么 他 是 如 何 
写 出 这 么 美妙 的 歌词 的 呢 ? 直到 看 了 他 的 访谈 ， 笔 者 才 了 解 到 其 实 他 的 歌词 大 多 来 源 于 生活 中 的 灵感 ， 这 首 《 爱 在 西元 前 》 就 是 他 在 某 日 逛 完 博物 馆 后 有 感 而 发 ， 他 从 现实 的 场景 获得 灵感 再 进行 文字 加 
工 ， 从 而 文思 泉涌 ， 妙 笔 生花 。 其 实 运 维 工作 也 亦 然 ， 需 要 我 们 时 时 从 工作 中 寻找 灵感 。 笔 者 从 事 运 维 工 作 将 近 8 年 ， 多 年 的 工作 经 验 总 结 出 一 个 道理 : 我 们 要 善于 从 运 维 工作 中 发 现 问题 ， 并 根据 问题 及 过 
往 经 验 发 明 创造 改进 工具 ， 接 着 再 从 发 明 创造 中 提炼 技术 ， 最 后 根据 技术 提炼 原理 。 



















































































近来 以 Docker 为 代表 的 容器 很 火 ， 很 多 互联 网 公司 都 在 使 用 。 那 么 Docker 是 如 何 获 得 互联 网 公司 的 青睐 的 ? 我 们 又 该 如 何 来 应 用 Docker? 本 章 将 逐一 介绍 : 





12.1 为 什么 使 用 Docker 


首先 来 看 一 下 我 们 在 运 维 中 发 现 了 哪些 问题 。 以 笔者 就 职 的 腾讯 公司 案例 为 例 ， 腾 讯 产 品 战线 很 长 ， 笔 者 所 在 的 团队 负责 运 维 腾 讯 的 QQ、Qzone 等 核心 产品 ， 而 这 些 产 品 也 算是 中 国 互联 网 骨灰 级 的 
业务 了 ， 整 体 架 构 都 有 着 复杂 的 历史 背景 。 不 仅 团 队 的 老 员 工 发 现 了 架构 逐渐 产生 的 问题 ， 团 队 新 入 职 的 同事 也 会 指出 与 原 任职 公司 比较 架构 存在 的 一 些 问题 ， 等 等 。 如 何 将 很 多 好 的 技术 融入 我 们 的 业务 
架构 中 ， 以 解决 产品 的 问题 ， 是 摆 在 每 一 个 运 维 架构 师 面前 的 难题 。 架 构 的 复杂 性 与 历史 沉重 的 包 补 决定 着 牵 一 发 而 动 全身 ， 并 且 架 构 支持 的 业务 为 近 半 数 的 中 国 互联 网 网 民 所 使 用 ， 还 有 着 不 少 的 优 缺 
点 ， 在 对 其 进行 改进 优化 之 前 ， 我 们 主要 先 分 析 了 它 的 优 缺 点 。 



















































































优点 : 目前 还 是 单机 或 单 集群 对 应 一 个 业务 模块 的 形式 ， 彼 此 间 没 有 交集 与 复 用 ， 如 图 12-1 所 示 ， 其 架构 优势 应 对 爆发 式 增长 扩容 方便 ， 成 本 结算 简单 ， 架 构 形 成 的 历史 原因 更 多 的 是 前 者 流量 的 爆发 
增长 。 





























者 
图 12-1 常见 的 业务 模块 架构 


缺点 : 随 着 网 民 的 饱和 ， 相 同业 务 模块 下 移动 流量 上 涨 ，PC 流 量 直线 下 降 ， 很 多 业务 出 现 了 低 负载 情况 。 海 量 服务 器 的 运 维 场景 中 即使 只 有 1% 的 低 负 载 规 模 也 是 惊人 的 ， 在 实际 运营 中 低 负载 + 长 尾 模 
块 下 的 机 器 数量 可 能 达到 了 25%~30% 甚 至 更 高 。 当 然 ， 这 里 不 排除 业务 对 流量 做 了 宛 余 与 灾 备 ， 但 是 多 个 业务 模块 的 灾 备 就 会 出 现 浪费 资源 的 情况 。 除 低 负载 与 长 尾 业 务 外 ， 为 了 应 对 业务 的 流量 徒 增 ， 
团队 为 产品 留 出 了 足够 富裕 的 Buffer 资 源 ， 而 这 些 资源 的 实际 利用 率 并 不 高 。 


@@ 济 
低 负载 : 对 服务 器 利用 率 衡 量 的 标准 ， 其 中 标准 指标 包括 CPU、 内 存 、 磁 盘 与 网 络 ， 并 经 过 算法 来 确定 菜 服 务 器 的 利用 率 是 否 处 于 合理 区 间 内 ， 如 果 不 符合 标示 为 低 负载 。 


长 尾 业务 : 菜 业 务 在 线 使 用 ,但 用 户 不 再 增长 并 有 逐渐 下 降 的 趋势 界定 为 长 尾 业务 。 





分 析 了 优 缺 点 及 运营 中 发 现 的 问题 后 ， 从 2014 年 年 中 我 们 就 开始 着 手 离线 业务 混合 部 署 项 目 。 项 目的 思路 是 通过 高 负载 业务 譬如 音频 转 码 、 视 频 转 码 、 图 片 人 脸 计算 和 图 片 特征 提取 业务 ( 注 : 后 统 
称 “ 离 线 业务 ”) 与 低 负载 、 长 尾 业 务 和 部 门 Buffer 业 务 进行 混合 部 署 ， 来 提升 机 器 利用 率 并 同时 为 部 门 节约 机 器 成 本 。 不 过 经 过 半年 多 的 运营 ， 我 们 也 发 现 了 很 多 问题 : 





问题 一 : 在 低 负载 与 长 属 业 务 上 部 署 离线 业务 ， 如 果 离 线 业 务 抖动 出 现 大 的 CPU 毛刺 (特别 在 晚 高 峰 时 段 ) 就 会 影响 用 户 的 使 用 体验 ， 从 而 导致 部 分 投诉 产生 的 情况 。 
问题 二 : 部 署 在 Buffer 池 上 的 离线 业务 ， 由 于 在 线 业务 申请 机 器 导致 机 器 上 的 离线 环境 没有 及 时 清理 ， 继 续 运营 影响 在 线 业 务 的 正常 使 用 。 


这 两 个 问题 是 比较 有 代表 性 的 问题 也 是 我 们 最 不 希望 看 到 的 ， 所 以 总 结 经 验 教 训 后 在 2015 年 上 半年 我 们 又 重新 打磨 项 目 开发 了 新 版 离线 系统 ， 新 项 目 与 老 项 目 相 比 通过 Docker 技 术 将 离线 业务 与 在 线 业 
务 的 低 负载 、 长 尾 业务 和 Buffer 池 进行 了 部 署 ， 从 而 顺利 解决 了 上 述 的 问题 。 这 里 主要 利用 了 Docker 的 三 个 优势 : 





“ Cgroup 对 资源 的 隔离 让 离线 与 在 线 业 务 彼此 间 对 资源 使 用 有 了 保障 。 
“ 命名 空间 ， 让 相同 框架 多 业务 跑 在 相同 物理 机 上 成 为 可 能 。 


“ 容器 快速 回收 上 线 下 线 ， 使 用 Buffer 资 源 时 不 再 为 回收 离线 资源 而 头痛 。 


12.2 ”离线 系统 业务 架构 


上 文中 笔者 提 到 QQ、Qzone 的 整体 架构 有 着 很 复杂 的 历史 背景 ， 而 仅仅 通过 Docker 或 一 两 种 工具 来 解决 现实 存在 的 所 有 问题 是 不 现实 的 ， 所 以 我 们 在 保持 现 有 架构 与 内 部 用 户 习惯 的 基础 上 另辟蹊径 
逐渐 解决 产品 运营 上 的 一 些 问 题 ， 具 体 部 署 如 图 12-2 所 示 。 


从 图 12-2 中 可 以 看 到 在 部 门 Cmdb 基 础 之 上 ， 我 们 建立 了 数据 分 析 系 统 ， 通 过 它 可 以 分 析出 哪些 是 低 负载 业务 ， 哪 些 是 时 段 低 负 载 业务 。 在 此 基础 之 上 我 们 使 用 Clip 名 字 服 务 系统 重新 建立 了 业务 之 间 
的 IP 关 系 ， 并 根据 重新 划 定 关系 的 |P 进 行 了 业务 流量 与 资源 快速 的 调度 。 其 中 Etcd 为 服务 发 现 工 具 ， 根 据 Clip 名 字 服 务 系统 传 入 的 信息 通过 Confd 重 新 生成 HAproxy 的 配置 文件 并 热 重启 它 ， 离 线 业务 流量 
通过 HAproxy 的 虚拟 IP 屏 蔽 底层 资源 信息 ， 建 立 离线 与 资源 的 生态 供应 链 ， 同 时 上 层 监控 与 调度 均 为 Clip 名 字 服 务 系统 。 这 里 读者 可 能 会 有 疑问 ， 虽 然 HAproxy 的 虚拟 IP 屏 蔽 底层 资源 信息 (其 为 动态 
的 ) ， 但 如 果 程 序 有 问题 ， 能 快速 到 机 器 上 去 调试 自己 的 程序 吗 ? 这 里 我 们 使 用 的 是 Clip 名 字 服 务 。 








图 12-2 离线 系统 业务 架构 具体 部 团 


12.3 ”Clip 名 字 服 务 

Clip (http://blog.puppeter.com/read.php?7) 是 一 个 名 字 服 务 C/S 架 构 ， 它 将 传统 的 IP 管 理 维度 替换 为 名 字 服 务 ， 即 有 意义 可 记忆 的 String。Clip 将 IP 对 应 的 String 关 系 保存 在 Server 端 。Client 端 可 
以 下 载 SDK， 通 过 SDK 遍 历 Server 端 的 String 对 应 IP 的 关系 ， 并 在 本 地 对 获取 的 IP 模 块 关系 进 行 重新 的 组 织 与 编排 。 传 统 服务 器 IP 方 式 与 String 方 式 相 比 ，String 方 式 有 三 点 优势 : 

“ 传统 IP 管 理 方式 ， IP 由 四 组 无 意义 的 数字 组 成 ， 比 较 难 记忆 。String 更 加 方便 记忆 。 


“ 管理 海量 服务 时 ，IP 相 似 经 常会 导致 运营 故障 ， 壁 如 A 模 块 (10.131.24.37) 和 B 模 块 (10.117.24.37) ， 后 两 组 数字 一 致 ， 系 统 惯性 地 认为 了 B 模 块 就 是 A 模 块 ， 发 送 配置 导致 线 上 故障 。 通 过 String 管 理 方 
式 可 以 规避 此 问题 。 

“ Stting 可 以 解析 一 个 IP， 也 可 以 解析 一 组 JP， 根 据 IP 也 可 以 反 解析 String 对 应 关系 ， 使 得 管理 一 组 服务 更 加 方便 。 

Clip 中 的 String 由 四 段 (字段 含义 idc-product-modules-group) 组 成 ， 读 者 会 发 现 String 与 Cmdb 的 结构 很 像 : 四 级 模块 定位 一 个 服务 。 但 是 为 了 充分 利用 资源 ， 我 们 的 业务 要 求 一 个 IP 可 能 要 对 应 多 
个 服务 ,不同 的 服务 有 自己 的 波峰 与 波 谷 ， 在 相同 的 IP 上 只 要 保证 各 业务 的 波峰 不 重 又 就 满足 了 业务 的 需求 ， 也 充分 利用 了 资源 。 而 在 一 台 服 务 器 上 混合 部 署 不 同 的 业务 模块 ， 四 级 模块 就 只 能 定位 到 服务 


的 IP 级 别 ， 而 无 法 精确 定位 到 真正 的 服务 ， 所 以 Clip 名 字 服 务 在 Cmdb 的 基础 上 增加 了 port 端 口 ， 即 五 段 (字段 含义 idc-product-modules-group-port) 定位 一 个 服务 。 我 们 可 以 将 动态 的 IP 通 过 Clip 接 口 
注册 到 指定 含义 的 String 上 ， 通 过 Clip 自 带 工具 来 解析 实时 的 String 对 应 IP 关 系 ， 辟 如 : 





# clip cstring -~q idc-product-modules-group-port 
192.168.0.1 
1924168.0:2 
i924.16830.3. 
192.168.0.4 
192,168.0.5 





Clip 数 据 存 储 结构 分 为 两 层 : 


关系 层 保存 了 String 对 应 IP 或 内 部 系统 Cmdb 的 模块 关系 ， 如 图 12-3 所 示 。 





Default Extra 


+ 

| 

+ 

varchar (20) | 

product varchar (50) | 
modules varchar (50) | 
| 

| 

| 

| 

| 

| 

| 


Sroup varchar (50) 
ext varchar (20) 
sk varchar (20) 
S_V varchar (200) 
operator varchar(20) 
flag int (11) 


timestamp timestamp CURRENT_TIMESTAMP on update CURRENT_TIMESTAMP 





图 12-3 ”Clip 名 字 服 务 关 系 表 





关系 层 数据 含义 见 表 12-1。 


表 12-1 关系 层 数 据 含义 


数据 库 字段 含 尺 

idc 机 房 

product 产品 

modules 模块 

group 组 

ext 扩展 字段 (端口 ) 

sk String 与 IP 或 内 部 系统 模块 对 应 关系 键 
S_V String 与 IP 或 内 部 系统 模块 对 应 关系 值 
operator 操作 人 

flag 字段 状态 (1 在 线 、2 离线 、3 故障 ) 
timestamp 创建 变更 时 间 稚 


























数据 层 保存 了 String 与 IP 的 具体 关系 ， 如 图 12-4 所 示 。 











Default 


NULL 

NULL 

NULL 

NULL 

0 

NULL 

| 

CURRENT_TIMESTAMP on update CURRENT_TIMESTAMP 


varchar (20) 
varchar (20) 
varchar (20) 
varchar (20) 
varchar (20) 
varchar (15) 
int (11)> 
timestamp 


product 
modules 


group 

[= 
ipaddress 
fiag 
timestamp 


十 一 一 一 一 一 一 -一 一 十 一 十 
一 一 一 一 一 一 一 一 一 一 一 ~ 





图 12-4 ”Clip 名 字 服 务 数据 表 








数据 层 数 据 含义 见 表 12-2。 


表 12-2 ”数据 层 数 据 含义 





idc 机 房 

product 产品 

modules 模块 

group 组 

ext 扩展 字段 (端口 ) 

ipaddress String 对 应 IP 关系 

operator 打 作 人 

flag 字段 状态 (1 在 线 、2 离线 、3 故障 ) 
timestamp 创建 变更 时 间 稚 

















Clip 名 字 服 务 存储 在 String 对 应 IP 关 系 基础 上 ， 在 SDK 上 还 提供 了 远程 端口 扫描 、 远 程 ssh、 远 程 文件 拷贝 和 查找 String 关 系 结构 的 工具 子 命令 等 。 























12.4 ”Clip 名 字 服 务 与 Docker 应 用 


如 笔者 上 文 所 提 ， 离 线 系统 的 建设 思路 就 是 将 离线 业务 通过 Docker 快 速 地 部 署 在 资源 空闲 的 机 器 上 ， 而 空闲 的 机 器 是 通过 数据 分 析 系 统 长 期 分 析 沉淀 的 结果 ，Clip 名 字 服 务 就 是 这 两 种 资源 建立 联系 的 
桥梁 ， 但 只 有 Clip 绑 定 关系 还 是 不 够 的 ， 还 需要 建立 绑 定 关系 String 对 应 Docker 环 境 的 关系 ， 所 以 在 Clip 名 字 服 务 的 基础 上 我 们 又 扩充 了 Docker 的 资源 关系 表 ， 如 图 12-5 所 示 。 




















Default Extra 
ee 二 
int (10) unsigned auto_increment | 
cstring varchar (50) | 
idc varchar(20) | 
product varchar (20) | 
modules varchar (20) | 
&roup varchar (20) | 
ext varchar (20) | 
admin_port int (11) | 
app_port varchar (50) | 
mcount int (11) | 
docker_id varchar (50) | 
docker_version varchar (50) | 
mioad int (11) | 
status int (5) | 
| 


CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP 


一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 





图 12-5 Docker 资源 关系 表 











其 中 Docker 资 源 使 用 的 关系 表 的 字段 含义 见 表 12-3。 














表 12-3 Docker 资 源 使 用 关系 表 


id 自 增 id 
cstring 名 字 服 务 idc-product-modules-group-port 
idc 机 房 
product 产品 
modules 模块 
group 组 
ext 扩充 信息 (端口) 
admin port ssh 管理 端口 


app_port 业务 端口 ， 多 端口 用 “;” 分 割 。 用 于 业务 多 端口 监控 


id 
mcount 革 业 务 需要 最 大 的 核心 数 
Docker id Docker 镜像 环境 ID 


Docker version Docker 的 tag 


自 增 id 


人 自动 缩 容 标识 ， 系 统计 算 String 对 应 的 卫 负 载 是 否 在 合理 区 
间 范 围 内 ， 如 果 不 在 ， 则 自动 缩 窑 资源 
status 当前 String 状态 是 在 线 、 离 线 还 是 停止 

















某 视频 转 码 业务 在 上 海 需要 使 用 资源 约 1000 核 心 ， 对 应 的 关系 表 见 表 12-4。 








我 们 来 看 一 个 需求 案例 : 





表 12-4 Docker 资 源 使 用 关系 表 


自 增 id 


-qq-video-2877 ) 


id 
cstring 名 字 服 务 String (sh-buffer 
idc 上 海 机 房 (sh) 
product 使 用 空闲 资源 在 部 门 Buffer 中 
modules qq《〈 某 业务 ) 
group Video 组 
ext 业务 端口 


admin port 22 (ssh 管理 端口 ) 


app_port 2877:80 (业务 暴露 的 端口 
mcount 1000 
Docker ld 


Docker_ version latest 
1 ~ 7 (以 天 为 单位 ， 
mcount 核 量 降低 20% ) 


1 在 线 


mload 


status 


累计 二 1 ， 


) 


dockerimages.docker.com:5000/images/imagesName 


当 业 务 连续 7 低 负载 时 ， 将 








由 于 Buffer 资 源 不 时 在 变动 ， 我 们 需 监控 String (sh-buffer-qq-video-2877) 整体 核 数 是 否 低 于 mcount 值 ， 如 果 低 于 ， 则 出 发 
来 监控 整体 String (sh-buffer-qq-video-2877) 业务 是 否 处 于 健 
石 ， 如 图 12-6 所 示 。 











图 

















动 扩容 策略 。 同 时 也 需 针对 Docker 资 源 使 用 关系 中 的 app_port 字 段 











康 状态 。 在 这 里 我 们 沉淀 了 String (sh-buffer-qq-video-2877) 的 一 些 基础 数据 如 负载 、 内 存 、 网 络 和 磁盘 10 等 为 资源 的 调度 莫 定 了 基 


湿 部 设备 地 域 信息 表 
IDC IDC 所 在 地 





在 状 
总 设备 数 





内 存 各 





idc 负 载 走势 











12.5 ”本章 小 结 

















本 章 借助 于 Clip 名 字 服 务工 具 ， 介 绍 了 一 个 Docker 的 离线 系统 应 用 











第 13 章 ”Etcd、Cadvisor 和 Kubernetes 实 践 


图 12-6 


离线 运营 系统 负载 











案例 ， 它 可 以 非常 方便 地 管理 海量 服务 器 ， 并 且 可 以 通过 服务 混合 部 署 充分 利用 机 器 的 各 项 资源 ， 有 效 地 降低 机 房 的 运营 成 本 。 














本 章节 将 介绍 Docker 的 容器 集群 管理 平台 Kubernetes、 服 务 发 现 的 键 值 存储 系统 Etcd， 以 及 容器 监控 平台 Cadvisor， 详 细 介 绍 三 个 平台 的 功能 特点 、 部 署 及 使 用 方法 。 其 中 Etcd 与 Cadvisor 也 是 
Kubernetes 平 台 的 核心 组 件 ， 可 以 了 解 到 组 件 之 间 是 如 何 协作 的 。 


13.1 ”Etcd 实 践 











Etcd (https://github.com/coreos/etcd) 是 一 个 高 可 





通过 Raft 一 致 性 算法 处 理 日 志 复制 以 保证 强 一 致 性 。Raft 是 一 个 来 自 Stanford 的 新 的 一 致 性 算法 ， 适 
Leader。Google 的 容器 集群 管理 系统 Kubernetes、 开 源 PaaS 平 台 Cloud Foundry 和 CoreOS 的 Fleet 都 广泛 使 用 了 Etcd， 主 要 | 














“ 简单 : 支持 cutl 方 式 的 用 户 API (HTTP+JSON) 。 
' 安全 : 可 选 SSL 客 户 端 证 书 认证 。 
“快速; 单 实例 可 达 每 秒 1000 次 写 操作 。 


“可靠: 使 用 Raft 实 现 分 布 式 。 


13.1.1 安装 Etcd 


Etcd 官 方 提供 两 种 安装 模式 ， 一 种 为 源码 编译 模式 ， 要 求 具备 golang 语 言 环境 ， 另 一 种 为 二 进 制程 序 包 下 载 ， 解 压 后 即 可 使 























的 键 值 存储 系统 ， 主 要 








于 共享 配置 和 











于 分 布 式 系统 的 日 志 复制 











肛 务 发 现 。 Etcd 是 由 CoreOS 开 发 并 维护 的 ， 灵 感 来 自 ZooKeeper 和 Doozer， 它 使 用 Go 语言 编写 ， 并 
，Raft 通 过 选举 的 方式 来 实现 一 致 性 。 在 Raft 中 ， 任 何 一 个 节点 都 可 能 成 为 



































> 享 配 置 和 服务 发 现 。 Etcd 具 备 如 下 特点 : 























， 简 单 快捷 ， 笔 者 比较 推荐 此 方式 ， 详 细 安装 方法 如 下 : 





# mkdir -p /home/install && cd /home/install 


# wget https://github.com/coreos/etcd/releases/download/v0.4.6/etcd-v0.4.6-linux-amd64.tar.gz 


# tar -zxvf etcd-v0.4.6-linux-amd64.tar.gz 
# cd etcd-v0.4.6-linux-amd64 

# cp etcd* /bin/ 

# /bin/etcd -version 

etcqd version 0.4.6 # 显 示 此 信息 说 明 部 署 成 功 








启动 服务 Etcd 服 务 ， 如 有 提供 第 三 方 管理 需求 ， 另 需 在 启动 参数 中 添加 “-cors=' ”参数 ， 比 较 好 的 管理 工具 有 etcd-browser (http://henszey.github.io/etcd-browser/) 。 





# mkdir /data/etcd #etcd 数 据 目录 
# /bin/etcd -name etcdserver -peer-addr 192.168.1.10:7001 -addr 192.168.1.10:4001 -data-dir /data/etcd -peer-bind-addr 0.0.0.0:7001 -bind-adqr 0.0.0.0:4001 & 








由 于 Etcd 具 备 多 机 容 灾 支持 ， 参 数 “-peer-addr” 指 定 与 其 他 节点 通信 的 地 址 ; 参数 “-addr” 指 定 服务 监听 地 址 ; 参数 “-data-dir” 为 指定 数据 存储 目录 ; IP 地 址 192.168.1.10 为 安装 Etcd 的 主机 。 
以 下 为 配置 Etcd 服 务 防火 墙 ， 其 中 4001 为 服务 端口 ，7001 为 集群 数据 交互 端口 ， 策 略 如 下 : 





# iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 4001 -j ACCEPT 
# iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 7001 -j ACCEPT 





13.1.2 ”使 用 方法 











Etcd 提 供 了 两 种 操作 方法 ， 一 种 是 基于 HTTP 的 RESTful APl， 是 一 个 使 用 HTTP 并 遵循 REST 原 则 的 Web 服 务 ， 通 过 不 同 URI 来 封装 业务 逻辑 ， 由 于 基于 HTTP 协 议 ， 因 此 我 们 可 以 使 用 curl 命 令 来 操作 ， 
比较 适合 程序 的 调用 。 另 一 种 是 通过 命令 etcdctl 操 作 ， 适 合 运 维 及 系统 管理 人 员 使 用 。 下 面 将 详细 介绍 两 种 方式 操作 Etcd 的 常用 方法 。 





















































回 




















(1) Set key (设置 键 值 ) 


给 “/message”key 设 置 “Hello world” 值 ， 操 作 命 令 如 下 : 





# curl http://192.168.1.10:4001/v2/keys/message -XPUT -d value="Hello world" 
{ 


vactions "set"; 
"node": { 
"key": "/message", 





"value": "Hello world", 
"modifiedIindex": 231006, 
"createdIndex": 231006 





命令 行 操作 如 下 : 





# etcdctl] set /message "Hello world" 
Hello world 





(2) Get key (获取 键 值 ) 


获取 “/message”key 值 ， 操 作 命令 如 下 : 





# curl http://192.168.1.10:4001/v2/keys/message 
{ 


vactionts "get"r 

"node"; { 
"key": "/message", 
"value": "Hello world", 


"modifiedIindex": 231006, 
"createdIndex": 231006 





命令 行 操作 如 下 : 





# etcdctl get /message 
Hello world 





(3) Changing value (更 新 键 值 ) 


更 新 “/message” key 的 值 为 “Hello etcd”， 操 作 命 令 如 下 : 





# curl http://192.168.1.10:4001/v2/keys/message -XPUT -d value="Hello etcd" 


"action": "set", 
"node"; { 
"key": "/message", 
"value": "Hello etcd", 


"modifiedIindex": 231225, 
"createdIindex": 231225 


"prevNode": { 
"key": "/message", 
"value": "Hello world", 
"modifiedIindex": 231006, 
"createdIindex": 231006 





命令 行 操作 如 下 : 





# etcdctl update /message "Hello etcd" 
Hello etcd 





(4) Deleting a key (删除 键 ) 


删除 “/message”key， 操 作 命 令 如 下 : 





# curl http://192.168.1.10:4001/v2/keys/message -XDELETE 


"action": "delete", 
"node": { 
"key": "/message", 


"modifiedIindex": 231395, 
"createdIndex": 231225 


] 

"prevNode": { 
"key": "/message", 
"value": "Hello etcd", 


"modifiedIindex": 231225, 
"createdIindex": 231225 





命令 行 操作 如 下 : 





# etcdctl rm /message 





(5) Creating Directories (创建 目录 ) 


创建 一 个 “/dir” 目录， 操作 命令 如 下 : 





# curl http://192.168.1.10:4001/v2/keys/dir -XPUT -d dir=true 
{ 
"action": "set", 
"node": { 
mey"s /dir", 
让 Wy 
"modifiedIindex": 232067, 
"createdIndex": 232067 





命令 行 操作 如 下 : 





# etcqct1 mkdir /dir 





(6) Deleting a Directory (删除 目录 ) 


删除 /dir” 目 录 ， 操 作 命令 如 下 : 





# curl ‘http://192.168.1.10:4001/v2/keys/dir?dir=true' -XDELETE 


"action": "delete", 





3 true, 
"modifiedIindex": 232213, 
"createdIindex": 232067 


1 
"prevNode": { 
mkey": "/dir", 
Mee fm 
"modifiedIindex": 232067, 
"createdIindex": 232067 





命令 行 操作 如 下 : 





# etcdctl rmdir /dir 














(7) watch value change (捕捉 key 的 value 更 新 事件 ) 

















于 捕捉 key 的 value 的 更 新 事件 ， 从 而 触发 某 个 动作 。 实 现 捕捉“/message”key 的 变化 ,命令 执行 后 会 处 于 等 待 状态 ， 直 到 key 的 value 发 生 改 变 才 退 到 系统 提示 符 ， 操 作 命 令 如 下 : 








# curl ‘http://192.168.1.10:4001/v2/keys/message?wait=true 
命令 行 操作 如 下 : 





# etcdctl watch /message 





更 多 Ectd 操 作 参 考官 方 API 文 档 : https://github.com/coreos/etcd/blob/master/Documentation/api.md。 


13.2 Cadvisor 实 践 

















Cadvisor (https://github.com/google/cadvisor) 是 谷歌 公司 





来 分 析 运 行 中 的 Docker 容 器 的 资源 占 上 

















及 性 能 特性 的 工具 。Cadvisor 是 一 个 运行 中 的 守护 进程 ， 








来 收集 、 聚 合 、 处 理 和 导出 运行 容 









































器 相关 的 信息 ， 每 个 容器 保持 独立 的 参数 、 历 史 资 源 使 用 情况 和 完整 的 资源 使 
13.2.1 安装 Cadvisor 
部 署 Cadvisor 容 器 监控 平台 ， 官 网 提供 了 两 种 方式 ， 一 种 为 源码 编译 方式 ， 


J 


行 








数据 。 当 前 支持 Imctfy 容 器 和 Docker 容 器 。Cadvisor 提 供 前 端 UI 及 API 接 























需要 本 地 具有 goland 环 境 ; 另 一 种 为 镜像 方式 ， 


“docker pull google/cadvisor” 即 可 ， 最 后 再 启动 该 镜像 的 一 个 实例 ， 运 行 : 


前 托管 在 registry.hub.docker.com 下 ， 





， 以 供 第 三 方程 序 进行 调用 。 

















户 在 Docker 主 宿 机 环境 运 

















# 


docker run \ 

--volume=/var/run:/var/run:rw \ 
--volume=/sys/fs/cgroup/:/sys/fs/cgroup:ro \ 
--volume=/var/1lib/docker/:/var/lib/docker:ro \ 
--publish=8080:8080 \ 

--detach=true \ 

google/cadvisor 








访问 http:// 主 宿 机 IP: 8080， 出 现 如 图 13-1 所 示 界 面 ， 说 明 安装 成 功 。 

















Cadvisor 获 取 该 主 宿 机 所 有 容器 的 CPU、 内 存 、 网 卡 等 信息 ， 且 以 秒 为 单位 进行 刷新 ， 及 时 性 非常 高 ， 缺 点 是 不 能 集中 式 管理 ， 要 求 每 台 主 宿 机 都 要 部 署 Cadvisor 环 境 ， 有 没有 办 法 实现 集中 式 的 数据 
采集 ”答案 是 肯定 的 ，Cadvisor 也 提供 了 Remote REST AP1， 可 以 轻松 与 采集 程序 进行 对 接 ， 下 一 章节 将 详细 进行 说 明 。 


Shares 512 shares 


Allowed Cores 01234567 


Memory 
Limit 1.00 GS 


Swap Limit unlimited 


Usage 


Overview 





4:55:00 PM 4:55:10 PM 4:55:30 PM 
国 Total 








图 13-1 Cadvisor 前 端 界 面 


13.2.2 Cadvisor API 

















Cadvisor 提 供 了 远程 REST API 的 接口 ， 通 过 接口 我 们 可 以 获取 前 端 UI 看 到 的 所 有 原始 数据 ， 调 用 地 址 格式 如 下 ( 限 V1.0 版 本 ) : 














http://<hostname>:<port>/api/<version>/<request> 


(1) 获取 容器 性 能 数据 。API 访 问 格式 如 下 : 





http://192.168.1.201:8080/api/v1.0/containers/ # 获 取 所 有 容器 信息 
http://192.168.1.201:8080/api/v1.0/containers/docker/666a95d88aall418f37d4d64319b2ada20bebd2e074e9899505492b307dcba4c # 获 取 指 定 容器 ID 的 信息 











获取 所 有 容器 的 性 能 信息 (最 近 60 秒 的 数据 ，1 秒 一 个 数据 点 ) ， 详 细 内 容 如 图 13-2 所 示 。 








所 人 已 四 192.168.1.201:8080/api/v1.0/containers/ 9@ 三 








{name”:"/”,"subcontainers" :[{ name”":"/ docker"}, {"name” :" /lxc"}], “spec”:{"has_cpu" :true "cpu : {"limit": 1024, "max_limit" :0, "mask”:"0- 

T°}, "has_memory :true, memory": { limt” :9223372036854775807," swap_limit":9223372036854775807}, “has_network” :true, “has filesystem :true}, “stats : 
[Ttimest amp": "2015-02-11T17:43:05. 984133533+08:00", ”cpu :fusage":{ total :84768663794957, "per_cpu usage”: 

[17769683184685, 10551376081160, 8878263485288, T390103558238, 127141 16879765, 8945000313651, 9423935925450, 9096184366720], “user” :36700400000000,“system :432 
42860000000}, “load” :0}, “diskio" : {}, "memory" : {"usage”: T101259776," working_set" :3453374464, “container_data”: 

{"pefault":0, "pgmajfault" :0}, "hierarchical data”: {pefault" :0, "pemajf ault":0}}, "network”: 

{rx _ bytes" :0," rx _packets”:0, "rx_ errors’:D, "rx_dropped’ :0, "tx bytes":0, "tx packets’ :0,"tx_errors" :0,"tx_dropped”:0}, "filesystem”: 

[{'device”:"/ dew mapper/docker—8:4-10076164- 

6829c23fad8234debabl454424d492d7bdf527d7d8a31a5Tfe025b6c865bdedaf” ," capacity":10568916992， "usage”" : 175894528, "reads_completed":0, "reads merged’ :0," sector 
s_read :0," read time” :0, "wites_ completed”’:0, writes merged":0, "sectors written”:0, write time” :0,"io_in progress :0 "io time":0, “weighted io time” :0}, 
fdevice :" /dev/sdad",” capacity" :458424119296, "usage" :9633370112, "reads_completed":161655," reads merged" :7873893, "sectors_read" :23953914, "read time":10 
94895, "writes_completed":11454666, "writes_merged" :37964507, "sectors_written" :395572138, "write time” :371251971,"io_in progress":D, "io time":71789415，we 
ighted_ io time” :372475684}, 

fdevice :" /dev/sdal”," capacity” : 10573565952, "usage” :2248400896," reads_completed :58961," reads_merged” :161150," sectors_read” :2577477, "read time” :236904 
9, "wites_completed":1524253, "writes_merged":1426139, "sectors written":23607384, "wite time”":9972099, "io_in progress" :0," io_ time” :7082693," weieghted_ io_ 
time” :12341227] ， 

{"device” :" /dev/sda3”,”" capacity" :21137190912, "usage”" : 1023864832," reads_conmpleted" :14235, "reads_merged":739424, "sectors_read":1025427， "read time“ :405568 
,writes_completed" :6283270, "writes_merged" :6683004," sectors witten" :103752257, "write time":109824589, "io_in progress" :0,"io time” :35740577, "weighted_ 
i0 time":110226876}, {"device” :" /dev/mapper/ docker-8:4-10076164- 

209bcebbf gb8f 0b6d038140c97adfb735a2365b0a58ed6340bdal 60228020d2a” ," capacity" : 10568916992, "usage”": 1778479104," reads_completed" :0," reads_merged":0,"secto 
rs_read":0, "read time":0，"writes_completed :0, "wites merged’ :0," sectors witten’ :0, " write time":0, "io_ in progress" :0,"io time" :0," weight ed_ io time":0} 
]1, {timestamp" :" 2015-02-11T17:43:06. 984128201+08:00" "cpu" : {"usage": {"total” :84768669331900, "per_cpu usage”": 

[17769685209741, 10551376445130, 8878265641951, 7390103641046, 127141 17201680, 8945000397885, 9423936278485, 9096184515982], “user” :36700400000000, “system" :432 
42860000000}, "load” :0}, “diskio” : {}, "memory’ : {"usage” :T101259776, “workine_set" :3453374464, “container_data’: 

{"pefault":0, "pemaifault" :0}, "hierarchical_data”: {pgfault” :0, "pgmajfault”:0}}, "network”": 

{rx_bytes" :0, "rx _packets":D, "rx_errors":D, "rx_dropped’ :0, "tx_bytes":0, "tx packets" :0, "tx_errors" :0, "tx_dropped”:0}, "filesyrstem : 





图 13-2 返回 所 有 容器 性 能 信息 (JSON 格 式 ) 


(2) 获取 主 宿 机 性 能 数据 。 通 过 CadvisorAP1， 我 们 也 可 以 获取 主 宿 机 的 性 能 数据 ，API 访 问 格式 如 下 : 





http://192.168.1.201:8080/api/v1.0/machine 





详细 内 容 如 图 13-3 所 示 。 








© > EE 192.168.1.201:8080/api/v1.0/machine @ 三 








{"mm_cores":8, "cpu freqency khz":2526829, "memory_capacity":8246681600, "filesystems":[{" device":"/dewsdal”, "capacity" :10573565952}, 

{"device” :" /dev/sda3”," capacity"” :21137190912}, {"device” :" /dev/mapper/ docker-8:4-10076164- 

209bcebbf gb8f 0b6d038140c9Tadfb735a2365b0a58ed6340bdal 60228020d2a” ," capacity" : 10568916992}, {" device” :" /dev/mapper/ docker-8:4-10076164- 
6829c23fad8234ebabl454424d492d7bdf527d7d8a31a5Tfe025b6c865bdedaf”,”" capacity" :10568916992}, {"device" :" /dev/sdad”," capacity" :458424119296}]," disk_map”: 
{"253:0": {name”: dm-0", major :253, "minor” :0," size”: 107374182400}, “253:1": {name”: “dml major :253, "minor” :1," size”:10737418240}," 253: 2°; {"name” :" tm- 
2", "major”:253, "minor":2, "size" :10737418240}, "8:0": {name”":"sda”, "major”:8, "minor":0, size" :500107862016}}, “network_devices": 

[{name”: eth0 "mac_ address” :"50:e5:49:81:25:50"," speed” :0, "mtu :1500}, 

{name” :"ethl", "mac_address":"50:e5:49: 81:25:51", “speed”: 1000, “mtu :1500}], “topology" :[{ node_id’ :0,"memory” :8580681728," cores”: 

[Tcore_id :0,"thread ids": [0,4], “caches" :[{"size”":32768, "type” Data" level’:1}, {"size” :32768, "type”: "Instruction", "level":1}, 

{"size” :262144, "type” :" Thified"," level” :2}]}, {"core_id":1,"thread ids": [1,5], "caches":[{"size":32768, "type” :"Data”, "level”:1}, 

{"size” :32768, "type”: "Instructior "level”:1}, {"size” :262144, "type” :"Ihified’," level” :2}]}, Tcore_id :2, "thread ids": [2,6], “caches”: 

[{ size”:32768, "type” : Data’, "level”:1}, {size” :32768, "type”: "Instruction level”:1}, {"size” :262144, "type” Unified level :2}]}, 

{core_id":3, "thread ids”:[3,7],"caches": [{"size” :32768, "type": "Data’,” level” :1}, {size":32768, type” :Instructiom ”level" :1}, 

{"size" :262144, "type” :" thified"," level” :2}]}]," caches" :rmll}]} 





图 13-3 ”返回 所 有 主 宿 机 性 能 信息 (JSON 格 式 ) 


13.3 Kubernetes 实 践 


Kubernetes (https://github.com/GoogleCloudPlatform/kubernetes) 是 Google 开 源 的 容器 集群 管理 系统 ， 基 于 Docker 构 建 一 个 容器 的 调度 服务 ， 提 供 资源 调度 、 均 衡 容 灾 、 服 务 注册 、 动 态 扩 
缩 容 等 功能 套件 ， 目 前 最 新 版 本 为 0.6.2。 目 前 受到 各 大 巨头 及 初创 公司 的 青睐 ， 如 Microsoft、VMWare、Red Hat、CoreOS、Mesos 等 纷纷 加 入 ， 给 Kubernetes 贡 献 代码 。 随 着 Kubernetes 社 区 及 各 大 
厂商 的 不 断 改进 、 发 展 ，Kuberentes 将 成 为 容器 管理 领域 的 领导 者 。 本 文 介绍 如 何 基 于 Centos7.0 构 建 Kubernetes 平 台 ， 在 正式 介绍 之 前 ， 大 家 有 必要 先 理解 Kubernetes 几 个 核心 概念 及 其 承担 的 功能 。 
Kubernetes 架 构图 如 图 13-4 所 示 。 
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13.3.1 ”基本 概念 














图 13-4 ”Kubernetes 架 构 























在 开启 Kubernetes 之 旅 前 ， 大 家 先 了 解 Kubernetes 几 个 基本 概念 ， 对 理解 其 工作 原理 将 起 到 至 关 重要 的 作用 。 





(2) Pods: 在 Kubernetes 系 统 中 ， 调 度 的 最 小 颗粒 不 是 单纯 的 容器 ， 而 是 抽象 成 一 个 pod，Pod 是 一 个 可 以 被 创建 、 销 毁 、 调 度 、 管 理 的 最 小 的 部 署 单元 ， 如 一 个 或 一 组 容器 。 


(3) The Life of a Pod: 包括 Pod 的 状态 、 事 件 及 和 





看 启 生命 周 期 策略 、 复 制 控制 器 等 。 


(4) Replication Controllers: Kubernetes 系 统 中 最 有 用 的 功能 ， 实 现 复制 多 个 Pod 副 本 ， 往 往 一 个 应 用 需要 多 个 Pod 来 支撑 ， 并 且 可 以 保证 其 复制 的 副本 数 。 即 使 副本 所 调度 分 配 的 主 宿 机 出 现 异 
常 ， 通 过 Replication Controller 可 以 保证 在 其 他 主 宿 机 启用 同等 数量 的 Pod。Replication Controller 可 以 通过 repcon 模 板 来 创建 多 个 Pod 副 本 ， 同 样 也 可 以 直接 复制 已 存在 的 Pod， 需 要 通过 Label 





selector 来 关联 。 


(5) Services: Kubernetes 最 外 围 的 单元 ， 通 过 虚拟 一 个 访问 IP 及 服务 端 


随机 端口 ， 目 前 只 提供 Google 云 上 的 访问 调度 。 

















(6) Volumes: 一 个 能 够 被 容器 访问 的 目录 ， 或 许 还 包含 一 些 数 据 ， 与 Docker Volumes 有 点 儿 类 似 。 





(7) Labels: 用 于 区 分 Pod、Service、Replication Controller 的 key/value 键 值 对 ， 仅 使 








也 


(8) Accessing the API: Kubernetes 中 端 














、IP、 代 理 服务 器 和 


(9) Kubernetes Web Interface: 访问 Kubernetes Web 接 口 。 





(10) Kubectl Command Line Interface: Kubernetes 命 令 行 接 


13.3.2 ”环境 说 明 





防火 墙 规则 。 








， 如 kubectl。 








用 在 Pod、Service、Replication Controller 之 间 的 关系 识别 ， 但 对 这 些 单 元 本 身 进行 操作 时 得 使 用 





本 案例 使 用 Centos7.0 作 为 操作 系统 环境 ，Kubernetes 的 版 本 为 V0.6.2，Etcd 版 本 为 0.4.6，Docker 的 版 本 为 1.3.2， 服 务 器 角色 环境 见 表 13-1。 





表 13-1 服务 器 角色 环境 


， 可 以 访问 我 们 定义 好 的 Pod 资 源 ， 目 前 的 版 本 是 通过 iptables 的 nat 转 发 来 实现 的 ， 转 发 的 目标 端口 为 Kube_proxy 生 成 的 


name 标 


Master Kubernetes 

Etcd SN2014-12-010 Etcd 

Minion SN2014-12-201 Kubernetes+docker 
Minion Kubernetes+docker 


13.3.3 “环境 部 署 


下 面 为 系统 初始 化 工作 ， 操 作对 象 为 所 有 主机 ， 本 节 涉 及 系统 安装 都 选择 “最 小 化 安装 ” ， 保 证 系统 的 精简 ， 节 省 无 谓 的 资源 损耗 ， 以 下 为 安装 系统 基础 包 及 epel 源 : 








# yum -y install wget ntpdate bind-utils 
# wget http://mirror.centos.org/centos/7/extras/x86 _64/Packages/epel-release-7-2.noarch.rpm 
# yum update 














CentOS7.0 默 认 使 用 的 是 firewall 作 为 防火 墙 管理 ， 这 里 改 为 iptables 防 火 墙 (熟悉 度 更 高 ， 非 必需 ) 。 





(1) 关闭 firewall 


# Systemct1 stop firewalld.service # 停 止 Firewal1 
# Systemct1 disable firewalld.service # 禁 止 firewal1 开 机 启动 





(2) 安装 iptables 防 火 墙 





# yum install iptables-services # 安 装 
# Systemct1 start iptables.service # 最 后 重启 防火 墙 使 配置 生效 
# Systemct1 enable iptables.service # 设 置 防火 墙 开机 启动 


1. 部 署 Etcd 环 境 
本 案例 为 192.168.1.10 主 机 ， 详 细 参 考 9.1.1 章 节 内容 ， 此 处 省 略 。 


2. 安 装 Kubernetes 





操作 对 象 为 所 有 Master、Minion 主 机 。 














本 案例 使 用 最 简单 的 yum 源 方式 进行 安装 ， 默 认 会 安装 etcd、docker 和 cadvisor 等 相关 包 ， 可 以 根据 不 同 角色 去 启动 及 配置 不 同 服务 ， 安 装 方式 如 下 : 











# curl https://copr.fedoraproject.org/coprs/eparis/kubernetes-epel-7/repo/epel-7/eparis-kubernetes-epel-7-epel-7.repo -o /etc/yum.repos.d/eparis-kubernetes-epel-7-epel-7.repo 
#yum -y install kubernetes 











由 于 yum 源 方式 安装 的 版 本 相对 比较 者 日 ， 需 要 升级 至 最 新 版 本 V0.6.2 (二 进 制 包 ) ， 直 接 覆 盖 bin 文 件 即 可 ， 方 法 如 下 : 














mkdir -p /home/install && cd /home/install 

wget https://github.com/GoogleCloudPlatform/kubernetes/releases/download/v0.6.2/kubernetes.tar.gz 
tar -zxvf kubernetes.tar.gz 

tar -zxvf kubernetes/server/kubernetes-server-linux-amd64.tar.gz 

cp kubernetes/server/bin/kube* /usr/bin 


井 井 井 井 非 





接 下 来 我 们 校 验 安装 结果 ， 出 现 图 13-5 所 示 的 提示 信息 则 说 明 安 装 正确 。 











[rooveSN2014-12-200 A 


CLient Version: verstion.InfofMojor: "0” ，Minor; "6+"，Gityersion: "v0.6.2"，GitCommit:"729fde276613eedcd99ecf5b93f0995b8deb64eb4”，0QitTreeState; "Cltedqn "} 
Server Version: &verSsion.Inf0fMajor: 0", Minor: “, GitYersion: "v0.6,.2", GitCommit: "729fde276613eedcd99ecf5b93f095b8deb64eb4"，GitTreeState: “clean"} 





图 13-5 命令 行 接口 版 本 信息 
3.Kubernetes 配 置 ( 仅 Master 主 机 ) 


在 角色 Master 运 行 三 个 组 件 ， 包 括 apiserver、scheduler、controller-manager， 相 关 配 置 项 也 只 涉及 这 三 块 。 其 中 scheduler 为 调度 器 ， 负 责 收集 和 分 析 当 前 Kubernetes 集 群 中 所 有 Minion 节 点 的 
资源 的 负载 情况 ， 根 据 这 些 信息 合理 地 分 发 新 建 的 Pod 到 Kubernetes 集 群 中 可 用 的 节点 当中 。 详 细 的 配置 信息 如 下 : 




















【/etc/kubernetes/config] 





# Comma seperated list of nodes in the etcd cluster 

# 指定 ECTD 服 务 器 TP 及 服务 端口 

KUBE ETCD SERVERS="--etcd servers=http://192.168.1.10:4001" 

# logging to stderr means we get it in the systemd journal 

KUBE_ LOGTOSTDERR="--logtostderr=true" 

# journal message level, 0 is debug 

KUBE LOG LEVEL="--v=0" 

# Should this cluster be allowed to run privleged docker containers 
KUBE_ ALLOW PRIV="--allow privileged=false" 


[/etc/kubernetes/apiserver) 


# The address on the local server to listen to. 

# API 监 听 主 机 地 址 

KUBE API ADDRESS="--address=0.0.0.0" 

# The port on the local server to listen on. 

# API 监 听 端 口 

KUBE API PORT="--port=8080"™ 

# How the replication controller and scheduler find the kube-apiserver 


# 复制 与 调度 使 用 的 API 主 机 与 端口 


KUBE MASTER="--master=192.168.1.200:8080" 

# Port minions listen on 

# Minion 监 听 端 口 

KUBELET PORT="--kubelet port=10250" 

# Address range to use for services 

# 定义 SERVICE 随机 网 段 

KUBE_ SERVICE ADDRESSES="--portal net=10.254.0.0/16" 
# Add you own! 

KUBE API ARGS="" 





[/etc/kubernetes/controller-manager) 





# Comma seperated list of minions 

# 定义 Minion 主 机 列表 

KUBELET ADDRESSES="--machines= 192.168.1.201,192.168.1.202" 
# Add you own! 

KUBE_ CONTROLLER MANAGER ARGS="" 





[/etc/kubernetes/scheduler) 





# Rdd your own! 
KUBE_SCHEDULER ARGS="" 














最 后 一 步 就 是 启动 master 端 的 相关 服务 了 。 在 Centos7 中 ， 服 务 管理 使 用 的 是 systemctl， 有 关 systemctl 的 用 法 可 参考 : http://www.linuxbrigade.com/centos-7-rhel-7-systemd-commands/, 具 
体 的 操作 步骤 如 下 : 

















# systemctl daemon-reload 
# Systemct1 start kube-apiserver.service kube-controller-manager.service kube-scheduler.service 
# systemctl enable kube-apiserver.service kube-controller-manager.service kube-scheduler.service 





4.Kubernetes 配 置 ( 仅 Minion 主 机 ) 


























Minion (部 署 Docker 环 境 的 主 宿 机 ) 运行 两 个 组 件 ， 包 括 kubelet、proxy， 相 关 配 置 项 也 只 针对 这 两 部 分 ， 开 始 之 前 需要 对 Docker 的 启动 参数 进行 修改 ， 以 便 后 面 提供 远程 API 操 作 支持 ， 具 体操 作 
如 下 : 


[/etc/sysconfig/docker) 





# Modify these options if you want to change the way the docker daemon runs 
OPTIONS=--selinux-enabled -H tcp://0.0.0.0:2375 -H fd:// 

# Location used for temporary files, such as those created by 

# docker load and build operations. Default is /var/lib/docker/tmp 

# Can be overriden by setting the following environment variable. 

# DOCKER TMPDIR=/var/tmp 











修改 Minion 防 火 墙 配置 ， 通 常 master 找 不 到 Minion 主 机 多 





是 由 于 10250 端 口 没 有 连通 ， 插 入 以 下 iptables 规 则 : 














iptables -I INPUT -s 192.168.1.200 -p tcp --dport 10250 -j ACCEPT 








下 面 为 修改 Kubernetes Minion 端 的 相关 配置 。 以 192.168.1.201 主 机 为 例 ， 其 他 Minion 主 机 配置 同 理 ， 也 可 以 通过 scp 命 令 远 程 复制 至 其 他 Minion 主 机 。 


【/etc/kubernetes/config】 





# Comma seperated list of nodes in the etcd cluster 

# 指定 ECTD 服 务 器 IP 及 服务 端口 

KUBE ETCD SERVERS="--etcd servers=http://192.168.1.10:4001" 

# logging to stderr means we get it in the systemd journal 

KUBE LOGTOSTDERR="--logtostderr=true" 

# journal message level, 0 is debug 

KUBE LOG LEVEL="--v=0" 

# Should this cluster be allowed to run privleged docker containers 
KUBE ALLOW PRIV="--allow privileged=false" 





[/etc/kubernetes/kubelet) 





间 ## 

# kubernetes kubelet (minion) config 

# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces) 
KUBELET ADDRESS="--address=0.0.0.0" 

# The port for the info server to serve on 

# 定义 监听 的 服务 端口 

KUBELET PORT="--port=10250" 

# You may leave this blank to use the actual hostname 
# 定义 Minion 主 机 名 

KUBELET HOSTNAME="--hostname override=192.168.1.201" 
# Add your own! 加 

KUBELET ARGS="" 





【/etc/kubernetes/proxy】 





KUBE_ PROXY ARGS="" 





启动 Minion 端 Kubernetes 服 务 ， 命 令 如 下 : 





# Systemct1 daemon-reload 
# Systemct1 enable docker.service kubelet.service kube-proxy.service 
# Systemct1 start docker.service kubelet.service kube-proxy.service 





13.3.4 ” API 常用 操作 








Kubernetes 提 供 了 两 种 API 操 作 方式 ， 一 种 为 kubectl 命 令 行 ， 另 一 种 为 HTTP REST 方 式 ， 笔 者 推荐 第 二 种 方式 ， 优 势 是 可 以 在 非 master 主 机 上 通过 HTTP 方 式 调 用 操作 ， 且 及 时 性 更 高 。 














(1) 命令 行 方式 。 





# kubectl get minions # 查 查看 Minion 主 机 
# kubectl get pods # 查 看 pods 清 单 


kubectl get services 或 kubect1l get services -o json # 查 看 service 清 单 
kubect1l get replicationControllers # 查 看 replicationControllers 清 单 
for i in ‘kubect] get podltail -n +2|awk '{print $1}'*; do kubectl delete pod $i; done 


井 井 井 


(2) Server api for REST 方 式 。 


# 删 除 所 有 Pods 








# curl -s -L http://192.168.1.200:8080/api/vlbetal/version | Python -mjson.tool 
# 查 看 kubernetes 版 本 
# curl -s -L http://192.168.1.200:8080/api/vlbetal/pods | Python -mjson.tool 
# 查 看 pods 清 单 
# curl -s -L http://192.168.1.200:8080/api/vibetal/replicationControllers | Python -mjson.tool # 查 看 replicationControllers 清 单 
# curl -s -L http://192.168.1.200:8080/api/vibetal/minions | Python -m json.tool 
# 查 查看 minion 主 机 
# curl -s -L http://192.168.1.200:8080/api/vlbetal/services | Python -m json.tool 
# 查 看 service 清 单 
Oi 


在 Kubernetes V0.6 版 本 后 ， 所 有 的 操作 命令 都 整合 至 kubectl|， 包 括 kubecfg、kubectl.sh、kubecfg.sh 等 。 


13.3.5 ”创建 pod 单 元 











在 Kubernetes 中 支持 使 











json 格 式 来 描述 资源 或 对 象 ， 比 如 pod、replication、service 等 , 下 





创建 一 个 pod 的 json 描 述 。 








百 








# /home/kubermange/pods && cd /home/kubermange/pods 


[/home/kubermange/pods/apache-pod.json) 


"id": "fedoraapache", 
in Podn， 
"apiVersion": 
"desiredState" : 
"manifest": 
"version": "vlbetal", 
"id": "fedoraapache", 
"containers": [{ 
"name": "fedoraapache", 
": "fedora/apache", 
3 [{ 
"containerPort": 
"hostPort": 8080 


"vlbetal"™, 
{ 


80, 


a 


"name": "fedoraapache" 


apache-pod.json 有 两 个 较 关键 的 配置 项 ， 其 中 “containers” 标 签 为 定义 一 个 完整 的 容器 描述 ， 包 括 指定 镜像 (image) 、 名 称 (name) 、 端 


pod 的 引用 标志 ， 通 过 一 个 key: value 来 定义 ， 本 例 为 "name": "fedoraapache"， 名 称 "fedoraapache "代表 了 这 个 pod。 











下 一 步 ， 执 行 kubectl 命 令 创 建 此 pod， 使 











create 人 参数 ， 如 下 : 





# kubect1 create -f apache-pod.json 











映射 (ports) 等 ， 另 一 个 为 “labels” 标签， 定义 该 




















使 





get 参 数 获取 此 pod 信 息 ， 执 行 以 下 命令 : 





# kubect1 get pod 








返回 pod 的 信息 如 








13-6 所 示 。 


NAME 


IMAGECS) 
fedoraqxqpache 


HOST 
fedoraapache 192.168.1.2027 


图 13-6 ”返回 pod 的 信息 


从 返回 的 pod 信 息 可 以 看 到 ， 该 pod 被 分 配 至 192.168.1.2023 
7 所 示 的 结果 ， 说 明 我 们 已 经 成 功 创建 了 一 个 pod 生 











元 。 





LABELS 
name= 


EF 机 上 ， 状 态 为 Runing。 启 动 浏览 器 访问 http://192.168.1.202: 8080/， 对 应 的 服务 端口 


STATUS 


fedoraapache Running 











(如 8080) 切记 在 iptables 中 已 添加 ， 出 现 图 13- 














€|3 CC D192.168.1.202:8080 








~he 





























图 13-7 访问 容器 服务 截图 
最 后 ， 我 们 观察 下 Etcd 键 值 存储 平台 发 生 了 什么 ， 可 以 通过 etcd-browser 工 具 来 查看 ， 结 果 如 图 13-8 所 示 ，nodes 节 点 下 | 




















H 








看 到 创建 好 的 “fedoraapache”pod 信 息 。 


为 集群 所 有 minion3 








机 列表 ，pods 节 点 多 了 一 个 default 子 节点 ， 单 击 可 以 





图 13-8 ”etcd-browser 页 面 显示 信息 


为 了 方便 读者 更 清楚 看 到 完整 的 pod 人 信息， 笔者 将 key “fedoraapache” 对 应 的 value json 信 息 进 行 格式 ， 可 以 使 用 在 线 json 工 具 格式 化 平台 ， 如 http://www.bejson.coryjsonview2/， 效 果 如 图 13-9 
所 示 。 


JSON 
kind:; Pod 
id: fedoraapache” 
Uid:"2307b03d89f6-11e4-970d000c292f1620” 
creationTimestamp : "2014-12-23T00:18:17+08:00” 
resourceVersion ; 120285 
apiVersion : "vibeta1” 
namespace : "defaulf 
日 {}labels 
Nn name ; edoraapache” 
{} desiredState 
B{} manifest 
version : V1beta2” 
nid:™ 


n volumes : null 
旦 [ ] containers 


B{}0 


Nn name : fedoraapache”" 


0 image : "fedoralapache”™ 
B[ Jports 
at{}0 
hostPort: 8080 
nm containerPort: 80 
上 protocol : “TCP” 
n imagePullPolicy : ” 
日 {} restartPolicy 
} always 
日 {} currentState 
B{}manifest 
mn version:™ 
nid:™ 
volumes : null 
有 containers : null 
{YrestartPolicy 
-status : "Waiting” 
nm host: “192.168.1.202” 








图 13-9 ”pod 信 息 格式 化 截 











13.3.6 ”实战 案例 





下 面 使 用 Kubernetes 进 行 实战 操作 ， 任 务 是 通过 Kubernetes 创 建 一 个 LNMP 架 构 的 服务 集群 ， 使 用 pod、replication、service 等 组 件 ， 以 及 观察 其 复制 能 力 、 服 务 接 入 特点 ， 涉 及 镜 
像 “yorko/webserver”， 该 镜像 已 经 push 至 官方 registry.hub.docker.com 仓 库 ， 大 家 可 以 通过 “docker pull yorko/webserver” 下 载 。 


接 下 来 创建 replication 及 service 组 件 ， 首 选 需 要 创建 配置 存放 目录 : 





# mkdir -p /home/kubermange/replication && mkdir -P /home/kubermange/service 
# cd /home/kubermange/replication 





第 一 步 ， 创 建 一 个 replication， 本 例 直接 在 replication 中 创建 pod 并 复制 。 当 然 ， 也 可 以 单独 创建 pod 再 通过 replication 来 复制 ， 下 面 为 完成 的 replication 描 述 信息 。 





[replication/Inmp-replication.json) 





"id": "webserverController", 
"kind": "ReplicationController", 
"apiVersion": "vlbetal", 
"labels": {"name": "webserver"}, 
"desiredSstate": { 

"replicas": 6, 

"replicaSelector": {"name": "webserver pod"}, 

"podTemplate": { 

"desiredSstate"; { 
"manifest { 
"version": "vlbetal™, 





"id": "webserver", 
"volumes": [ 


{"name":"httpconf", "source":{"hostDir":{"path":"/etc/httpd/conf"}}}, 

ttpconfd", "source":{"hostDir":{"path":"/etc/httpd/conf.d"}}}, 
{"name":"httproot", "source":{"hostDir":{"path":"/data"}}} 

], 





"containers": [{ 


"name" : "webserver", 
"image" : "yorko/webserver", 
"command": ["/bin/sh", "-c", "/usr/bin/supervisord -c /etc/supervisord.conf"], 





"volumeMounts": [ 
httpconf", “mountPath":"/etc/httpd/conf"}, 
httpconfd", "mountPath /etc/httpd/conf.d"}, 
httproot", "mountPath":"/data"} 





"memory" : 
"ports": [{ 

"containerPort": 80, 
he 


"containerPort": 22, 


50000000, 


} 


}, 


7 
abels": {"name": "webserver pod"}, 





在 Inmp-replicationjson 描 述 配置 中 ， 实 现 了 一 个 LNMP 架 构 的 容器 的 pod， 并 且 复 制 了 六 份 ， 其 中 “replicas” 指 定 复制 的 份 数 ，“replicaSelector” 为 复制 选择 器 ， 即 复制 的 pod 对 象 ， 与 
podTemplate (pod 模 板 ) 的 labels 标 签 一 致 。 完 整 的 容器 的 描述 信息 在 desiredState.desiredState 节 点 中 定义 ， 包 括 volumes、cpu、memory、ports 等 信息 ， 理 论 上 都 可 以 与 命令 行 docker run 一 一 对 
应 上 。 








执行 创建 命令 ， 同 样 使 








kubectl 命 令 ， 如 下 : 


# kubect1 create -f lnmp-replication.json 








执行 kubectl get pod 命 令 观 察 生成 的 pod 副 本 清和 


和 R， 发 现 已 经 生成 了 六 个 pod 副 本 ， 且 平均 分 配 至 不 同 主 宿 机 上 ， 都 处 于 运行 状态 。 





[root@SN2014-12-200 replication]# kubectl get pod 


NAME IMAGE (S) HOST LABELS STATUS 

84150ab7-89f8-11e4-970d-000c292f1620 yorko/webserver 192.168.1.202/ name=webserver pod Running 
84154ed5-89f8-11e4-970d-000c292f1620 yorko/webserver 192.168.1.2017 name=webserver pod Running 
840beb1lb-89f8-11e4-970d-000c292f1620 yorko/webserver 192.168.1.202/ name=webserver pod Running 
84152dq93-89f8-11e4-970d-000c292f1620 yorko/webserver 192.168.1.202/ name=webserver pod Running 
840db120-89f8-11e4-970d-000c292f1620 yorko/webserver 192.168.1.201/ name=webserver pod Running 
8413b4f3-89f8-11e4-970d-000c292f1620 yorko/webserver 192.168.1.201/ name=webserver pod Running 





第 二 步 ， 创 建 一 个 service 来 对 外 提供 服务 ， 


【service/lInmp-servicejson]】 





"id": "webserver"™", 
"kind": "Service", 
"apiVersion": "vlbetal", 
{ 


: "webserver pod", 





"protoool”: YECRY7 
"containerPort": 80, 
"port": 8080 


通过 指定 selector 的 ““name”: 


“webserver_pod”” 参 数 与 pods 进 行 关联 。 





通过 “protocol” 指 定 服务 的 协议 ， 如 TCP 


，“containerPort” 为 指定 容器 的 服务 端口 ， 

















“port” 为 映射 的 服务 端 














， 最 后 执行 创建 service 命 令 ， 如 下 : 





# kubect1 create -f lnmp-service.json 





创建 完毕 后 ， 登 录 任意 一 台 Minion 主 机 (如 192.168.1.201) ， 查 询 3 

















映射 至 “40689”。 其 中 “40689” 作 为 代理 端口 ， 


后 端 为 该 service 定 义 pods 所 对 应 的 容器 服务 端口 。 


EF 宿 机 生成 的 iptables 转 发 规则 ， 最 后 一 行规 则 “http://www.hzcourse.com/resource/readBook? 
path=/openresources/teach ebook/uncompressed/15950/OEBPS/Text/...10.254.216.51/*webserver*/tcp dpt: 8080redir ports40689” 的 含义 是 将 所 有 访问 的 目标 IP “10.254.216.51” 
段 , 在 master 的 /etc/kubernetes/apiserver 中 定义 ) 的 “8080” 端 


(虚拟 网 

















# iptables -nvL -t nat 
Chain KUBE-PROXY (2 references) 


pkts bytes target prot opt in out source destination 
120 REDIRECT tcp 一- * % 0.0.0.0/0 10.254.102.162 /* kubernetes */ tcp dpt:443 redir ports 47700 
1 60 REDIRECT tcp 一 * be 0.0.0.0/0 10.254.28.74 /* kubernetes-ro */ tcp dpt:80 redir ports 60099 
0 0 REDIRECT top ~~= * 0.0.0.0/0 10.254.216.51 /* webserver */ tcp dpt:8080 redir ports 40689 











最 后 ， 我 们 可 以 访问 测试 页 来 观察 代理 端口 





@@ 注 意 





均衡 后 端 容器 的 效果 ， 访 问 http://192.168.1.201: 40689yVinfo.php， 刷 新 浏览 器 后 发 现 proxy 后 端的 变化 ， 默 认为 随机 轮 循 算法 ， 详 细 如 图 13-10 所 示 。 











当前 版 本 接 入 层 官方 侧重 点 还 放 在 GCE (Google Compute Engine) 的 对 接 优 化 ， 如 本 案例 中 的 10.254.216.0/24 虚 拟 网 段 。 针 对 个 人 私有 云 还 未 推出 一 套 可 行 的 接 入 解决 方案 。 在 V0.5 版 本 中 才 引 用 service 
代理 转发 的 机 制 ， 且 是 通过 iptables 来 实现 的 ， 在 高 并 发 下 性 能 令 人 担忧 。 但 笔者 依然 看 好 Kubernetes 未 来 的 发 展 ， 至 少 目前 还 未 看 到 另外 一 个 成 体系 、 具 备 良 好 生态 圈 的 平台 ， 相 信 在 V1.0 时 就 会 具备 生产 环 
境 的 服务 支撑 能 力 。 


| | 192.168.1.201:40689/info.php 


客户 端 ITP，172.17. 42. 1 
服务 器 端 IP， 


© B192.168.1.201:406589/info.php 


客户 端 IP，172， 


17.42.1 


172.17. 0. 84 


图 13-10 ”访问 Kubernetes 代 理 端 口 地 址 效果 


13.4 ”本 章 小 结 





本 章节 介绍 了 Etcd 的 基本 用 法 ， 以 及 Docker 容 器 监控 组 件 Cadvisor 的 部 署 与 使 用 ， 最 后 介绍 了 业界 最 为 流行 的 Docker 编 排 工具 一 一 Kubernetes， 通 过 与 Etcd 组 件 的 结合 ， 实 现 了 Kubernetes 相 关 配 
置信 息 的 存储 ， 同 时 介绍 了 Kubernetes 最 小 调度 单元 pod 及 常见 API 的 操作 ， 最 后 通过 一 个 实战 案例 ， 帮 助 读者 对 Kubernetes 这 个 工具 有 一 个 更 加 清晰 的 认识 。 





第 14 章 ”构建 Docker 高 可 用 及 自动 发 现 架构 实践 


Docker 的 生态 日 趋 成 熟 ， 开 源 社区 也 不 断 鳃 化 出 优秀 的 周边 项 目 ， 如 覆盖 网 络 、 监 控 、 维 护 、 部 署 、 开 发 等 方面 。 帮 助 开发 、 运 维 人 员 快 速 构建 、 运 营 Docker 服 务 环 境 ， 其 中 也 不 乏 大 公司 的 身影 ， 
如 Google、IBM、Red Hat， 甚 至 微软 也 宣称 后 续 将 提供 Docker 在 Windows 平 台 的 支持 。Docker 的 发 展 前 景 一 片 大 好 。 但 在 企业 当中 ， 如 何 选 择 适合 自己 的 Docker 构 建 方 案 ? 可 选 的 方案 有 Kubernetes 


与 CoreOS (都 已 整合 各 类 组 件 ) ， 另 外 一 种 方案 为 Haproxy+Etcd+Confd， 采 用 松散 式 的 组 织 结构 ， 但 各 个 组 件 之 间 的 通信 和 是 非常 严密 的 ， 且 扩 
Haproxy+Etcd+Confd 构 建 一 个 高 可 用 及 自动 发 现 的 Docker 基 础 架构 。 





展 性 更 强 ， 定 制 也 更 加 灵活 。 下 面 将 详细 介绍 如 何 使 用 


14.1 ”架构 优势 

笔者 约定 由 Haproxy+Etcd+Confd+Docker 构 建 的 基础 服务 平台 简称 “HECD” 架 构 ， 整 合 了 多 种 开源 组 件 ， 看 似 松 散 的 结构 ， 事 实 上 已 经 是 一 个 有 机 的 整体 ， 它 们 互相 联系 、 互 相 作 用 ， 是 Docker 
生态 圈 中 最 理想 的 组 合 之 一 ， 具 有 以 下 优势 : 

“ 自动、 实时 发 现 及 无 感知 服务 刷新 。 

. 支持 任意 多 台 Docker 主 宿 机 。 

. 支持 多 种 App 接 入 且 打 散 至 不 分 主 宿 机 。 

“ 采用 Etcd 存 储 信息 ， 集 群 支持 可 靠 性 高 。 

“ 采用 Confd 配 置 引擎 ， 支 持 各 类 接 入 层 ， 如 Nginx。 

“ 支持 负载 均衡 、 故 障 迁 移 。 


“ 具备 资源 弹性 ， 仲 缩 自如 〈 通 过 生成 、 销 毁容 器 实现 ) 。 


14.2 ”架构 介绍 


在 HECD 架 构 中 ， 首 先 管理 员 操 作 Docker Client， 除 了 提交 容器 (Container) 启动 与 停止 指令 外 ， 还 通过 REST-API 方 式 向 Etcd (K/V) 存储 组 件 注册 容器 信息 ， 包 括 容器 名 称 、 主 宿 机 IP、 了 映射 端口 
等 。Confd 配 置 组 件 会 定时 查询 Etcd 组 件 获取 最 新 的 容器 信息 ， 根 据 定义 好 的 配置 模板 生成 Haproxy 配 置 文件 Haproxy.cfg， 并 且 自 动 reload haproxy 服 务 。 用 户 在 访问 业务 服务 时 ， 完 全 没有 感知 后 端 
App 的 上 线 、 下 线 、 切 换 及 迁移 ， 达 到 了 自动 发 现 、 高 可 用 的 目的 。 详 细 架 构图 如 图 14-1 所 示 。 
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图 14-1 HECD 架 构图 
在 开始 对 架构 做 详细 介绍 之 前 ， 我 们 先 逐 一 对 架构 中 涉及 的 各 个 组 件 及 发 挥 的 作用 进行 简单 介绍 。 


1.Etcd 介 绍 


Etcd 是 一 个 高 可 用 的 Key/Value 存 储 系 统 ， 主 要 用 于 分 享 配 置 和 服务 发 现 ， 更 多 Etcd 介 绍 参见 13.1 节 。 在 本 架构 中 负责 存储 容器 的 注册 信息 。 


2.Confd 介 绍 


Confd 是 一 个 轻 量 级 的 配置 管理 工具 。 通 过 查询 Etcd， 结 合 配置 模板 引擎， 保持 本 地 配置 最 新 ， 同 时 具备 定期 探测 机 制 ， 配 置 变更 自动 reload。 在 本 架构 中 负责 读 取 Etcd 集 群 中 容器 的 注册 信息 并 刷新 
接 入 层 Haproxy 的 配置 。 


3.Haproxy 介 绍 


Haproxy 是 提供 高 可 用 性 、 负 载 均衡 及 基于 TCP 和 HTTP 应 用 的 代理 ， 支 持 虚拟 主机 ， 它 是 免费 、 快 速 并 且 可 靠 的 一 种 解决 方案 。 在 本 架构 中 作为 业务 的 接 入 层 ， 包 括 容 器 服务 的 负载 均衡 、 故 障 迁 移 等 
功能 。 


架构 总 体 上 拆 分 为 三 大 层次 ， 分 别 为 主 宿 机 容器 层 、Etcq 集 群 层 及 Haproxy 接 入 层 。 为 了 方便 大 家 理解 各 组 件 间 的 关系 ， 通 过 图 14-2 进 行 架 构 流程 梳理 ， 首 先 管理 员 通 过 Shell 或 API 操 作 容 器 ， 如 创建 
或 销毁 容器 ; 下 一 步 将 容器 创建 、 销 毁 信息 提交 至 Etcq 集 群 ， 使 之 变更 ; Confd 组 件 通过 定时 向 Etcq 集 群发 送 查 询 请 求 ， 获 得 最 新 提交 至 Etcd 中 的 容器 信息 ， 通 过 Confd 的 模板 引擎 生成 Haproxy 配 置 文 
件 ， 最 后 刷新 Haproxy 配 置 使 之 服务 生效 ， 整 个 流程 结束 。 











图 14-2 HECD 架 构 流 程 图 


14.3 ”架构 搭建 


平台 环境 基于 CentOS6.5+ Docker1.3 构 建 ， 其 中 Etcd 的 版 本 为 etcd version0.5.0-alpha，Confd 版 本 为 confd0.6.2，Haproxy 版 本 为 HA-Proxy version1.4.24。 下 面 对 平台 的 运行 环境 、 安 装 部 署 、 组 
件 说 明 等 进行 详细 说 明 ， 环 境 设备 角色 表 如 下 : 


有 一 | 
存储 id 

机 i 
EN | | | oe 


14.3.1 ”组 件 环 境 部 署 


下 面 针 对 三 种 不 同 角色 组 件 进行 安装 部 署 ， 本 案例 采用 了 yum 及 二 进 制 安装 方式 ， 读 者 可 以 根据 实际 情况 进行 调整 。 
1.Docker 环 境 部 署 


使 用 SSH 终 端 登录 主 宿 机 192.168.1.22 服 务 器 ， 执 行 以 下 命令 : 





# yum -y install docker-io 
# service docker start 
# chkconfig docker on 





2.Haproxy、Confd 环 境 部 署 
SSH 终 端 登 录 接 入 层 192.168.1.20 服 务 器 ， 执 行 以 下 命令 : 


(1) 安装 haproxy 





# yum -y install haproxy # 采 用 Yum 安 装 模 式 ; 





(2) 安装 confd 





# wget https://github.com/kelseyhightower/confd/releases/download/v0.6.3/confd-0.6.3-linux-amd64 
# mv confd /usr/local/bin/confd 
# chmod +x /usr/local/bin/confd 
# /usr/local/bin/confd -version 


confd 0.6.2 # 显 示 版 本 号 则 说 明成 功 安 装 ; 





命令 行 操作 如 下 : 





# etcdctl] get /message 
Hello world 





3.Etcd 环 境 部 署 




















SSH 终 端 登录 存储 层 192.168.1.21 服 务 器 ， 本 案例 使 用 单机 模式 ， 生 产 环境 建议 使 用 集群 模式 来 提供 服务 ， 可 解决 单 点 问题 ， 详 细 可 参考 官网 文档 
(https://github.com/coreos/etcd/blob/master/Documentation/clustering.md) 部 署 ， 本 文 此 处 省 略 。 执 行 以 下 命令 进行 安装 : 

















mkdir -p /home/install && cd /home/install 

wget https://github.com/coreos/etcd/releases/download/v0.4.6/etcd-v0.4.6-linux-amd64.tar.gz 
tar -zxvf etcd-v0.4.6-linux-amd64.tar.gz 

cd etcd-v0.4.6-linux-amd64 

cp etcd* /bin/ 

/bin/etcd -version 


tcd version 0.4.6 # 显 示 版 本 号 则 说 明成 功 安装 ; 


0 井 井 井 井 间 非 





14.3.2 ”Etcd 配 置 


当 各 个 组 件 安装 完毕 后 ， 我 们 就 可 以 对 组 件 的 启动 参数 、 配 置 文件 进行 操作 ， 由 于 Etcd 是 一 个 轻 量 级 的 K/V 存 储 平台 ， 启 动 时 指定 相关 参数 即 可 ， 无 须 配置 。 








# mkdir /data/etcd ” # 创 建 数 据 存储 目录 ; 
# /bin/etcd -name etcdserver -peer-addr 192.168.1.21:7001 -addr 192.168.1.21:4001 -data-dir /data/etcd -peer-bind-addr 0.0.0.0:7001 -bind-addr 0.0.0.0:4001 & 








Etcd 是 具备 集群 服务 能 力 的 ， 参 数 “-peer-addr” 指 定 与 其 他 节点 通信 的 地 址 ; 参数 “-addr” 指 定 服务 监听 地 址 ; 参数 “-data-dir” 指 定数 据 存储 目录 。 由 于 Etcd 是 通过 REST-API 方 式 进 行 交互 的 ， 
常见 操作 参见 11.1.2 节 。 


注意 


此 启动 参数 在 V0.4.6 版 本 中 测试 通过 ， 其 他 不 同 版 本 可 能 存在 细微 差异 ， 可 从 官网 https://github.com/coreos/etcd 了 解 最 新 参数 说 明 。 


14.3.3 ”Confd 配 置 

















由 于 Haproxy 的 配置 文件 是 由 Confd 组 件 生成 的 ， 要 求 Confd 务 必要 与 Haproxy 安 装 在 同一 台 主 机 上 ，Confd 的 配置 有 两 类 : 一 类 为 Confd 资 源 配置 文件 ， 即 定义 外 部 应 用 程序 的 基本 信息 ， 默 认 路 径 
为 “/etc/confd/conf.d” 目 录 ; 另 一 类 为 配置 模板 文件 ， 默 认 路 径 为 “/etc/confd/templates”。 具 体 配置 如 下 。 





首先 创建 两 类 配置 文件 存储 目录 。 





# mkdir -p /etc/confd/{conf.d, templates} 





1. 配 置 资源 文件 





详细 参见 以 下 配置 文件 ， 其 中 “src” 为 指定 模板 文件 名 称 (默认 到 路 径 /etc/confd/templates 中 查找 ) ; “dest” 指 定 生 成 的 Haproxy 配 置 文 件 路 径 ; “keys” 指 定 关联 Etcd 中 key 的 URI 列 
表 ; “reload_cmd” 指 定 服务 重 载 的 命令 ， 本 例 中 配置 成 Haproxy 的 reload 命 令 。 


[/etc/confd/conf.d/haproxy.toml]) 





[template] 
src = "haproxy.cfg.tmpl" 
dest = "/etc/haproxy/haproxy.cfg" 
keys = [ 
"/app/servers", 


reload cmd = "/etc/init.d/haproxy reload" 








2. 应 用 配置 模板 文件 









































Confd 模 板 采用 了 Go 语言 的 文本 模板 引擎 ， 可 实现 通过 自身 的 语法 对 应 用 程序 (Haproxy) 配置 文件 进行 灵活 处 理 。 具 备 简单 的 逻辑 语法 ， 包 括 循环 体 、 处 理 函 数 等 ， 本 示例 的 模板 文件 如 下 所 示 ， 通 
过 range 循 环 输出 Key 及 Value 信息 。 








[/etc/confd/templates/haproxy.cfg.tmpl) 





global 
log 127.0.0.1 local3 
maxconn 5000 
uid 99 
gid 99 
daemon 
defaults 
1og 127.0.0.1 local3 
mode http 
option dontlognull 
retries 3 
option redispatch 
maxconn 2000 
contimeout 5000 
clitimeout 50000 
srvtimeout 50000 
listen frontend 0.0.0.0:80 
mode http 
balance roundrobin 
maxconn 2000 
option forwardfor 
{{range gets "/app/servers/*"}} 
server {{base .Key}} {{.Value}} check inter 5000 fall 1 rise 2 
{{end}} 
stats enable 
stats uri /admin-status 
stats auth admin:123456 
stats admin if TRUE 





3.Confd 模 板 引擎 介绍 











本 小 节 详细 介绍 了 Confd 模 板 引擎 基础 语法 与 示例 ， 方 便 大 家 操作 不 限于 haproxy.cfg 配 置 文件 ， 同 样 也 可 以 用 于 nginx.conf 或 其 他 ， 首 先 提交 示例 用 

















应 用 键 信息 ,与 “/etc/confd/conf.d/ haproxy.toml” 配 置 文件 中 的 “keys” 参 数值 保持 一 致 。 详 细 操 作 如 下 : 


到 的 Key 信 息 到 Etcd 主 机 ， 


其 中 "/app/servers 为 





# Curl -XPUT http://192.168.1.21:4001/v2/keys/app/servers/backstabbing rosalind -d value="192.168.1.22:49156" 
# curl -XPUT http://192.168.1.21:4001/v2/keys/app/servers/cocky morse -qd value="192.168.1.22:49158" 

# curl -XPUT http://192.168.1.21:4001/v2/keys/app/servers/goofy goldstine -d value="192.168.1.22:49160" 

# Curl -XPUT http://192.168.1.21:4001/v2/keys/app/servers/prickly blackwell -d value="192.168.1.22:49162" 











下 面 介绍 Confd 模 板 引 警 常用 语法 及 结果 输出 。 














(1) base 函 数 


作为 path.Base 函 数 的 别名 ， 获 取 URI 路 径 最 后 一 段 。 





{{ with get "/app/servers/prickly blackwell"}} 
server {{base .Key}} {{.Value}} check 
{{end}} 





结果 输出 : 





prickly blackwell 192.168.1.22:49162 





(2) get 函 数 


返回 一 对 匹配 的 KV， 找 不 到 则 返回 错误 。 








{{with get "/app/servers/prickly blackwell"}} 
key: {{.Key}} 
value: {{.Value}} 

{{end}} 





结果 输出 : 





/app/servers/prickly blackwell 192.168.1.22:49162 





(3) gets 函 数 


返回 所 有 匹配 的 KY ， 找 不 到 则 返回 错误 。 





{{range gets "/app/servers/*"}} 
{{.Key}} {{.Value}} 
{{end}} 








结果 输出 : 





/app/servers/backstabbing rosalind 192.168.1.22:49156 
/app/servers/cocky morse 192.168.1.22:49158 
/app/servers/goofy goldstine 192.168.1.22:49160 
app/servers/prickly blackwell 192.168.1.22:49162 





(4) getv 函 数 


返回 一 个 匹配 key 的 字符 串 型 Value， 找 不 到 则 返回 错误 。 








{{getv "/app/servers/cocky morse"}} 





结果 输出 : 





192.168.1.22:49158 





(5) getvs 函 数 


返回 所 有 匹配 key 的 字符 串 型 Value， 找 不 到 则 返回 错误 。 








{{range getvs "/app/servers/*"}} 
value: {{.}} 
{{end}} 





结果 输出 : 





value: 192.168.1.22:49156 
value: 192.168.1.22:49158 
value: 192.168.1.22:49160 
value: 192.168.1.22:49162 





(6) split 函 数 


对 输入 的 字符 串 做 split 处 理 ， 即 将 字符 串 按 指定 分 隔 符 拆 分 成 数组 。 








{{ $url := split (getv "/app/servers/cocky morse") ":" }} 
host: {{index $url 0}} 
port: {{index $url 1}} 





结果 输出 : 





Rat 192.160,1.22 
port: 49158 





(7) ls 函数 


返回 所 有 的 字符 串 型 subkey， 找 不 到 则 返回 错误 。 





{{range ls "/app/servers/"}} 
subkey: {{.}} 
{{end}} 





结果 输出 : 





subkey: backstabbing rosalind 
subkey: cocky morse 

subkey: goofy goldstine 
subkey: prickly blackwell 





(8) lsdir 函 数 


返回 所 有 的 字符 串 型 子 目 录 ， 找 不 到 则 返回 一 个 空 列 表 。 





{{range lsdir "/app/"}} 
subdir: {{.}} 
{{end}} 





结果 输出 : 





subdir: servers 





更 多 语法 介绍 见 http://golang.org/pkg/text/template/。 
4. 启 动 Confd 及 Haproxy 服 务 


下 面 为 启动 Confd 服 务 命令 行 ， 参 数 “interval” 为 指定 探测 Etcd 的 频率 ， 单 位 为 秒 ， 参 数 “-node” 为 指定 Etcd 监 听 服 务 地 址 ， 以 便 获 取 容 器 注册 的 信息 。 





# /usr/local/bin/confd -verbose -interval 10 -node '192.168.1.21:4001' -confdir /etc/confd > /var/log/confd.log & 
# /etc/init.d/haproxy start 





14.3.4 ”容器 提交 注册 
前 面 HECD 架 构 介绍 ， 有 提 到 容器 的 操作 会 即时 注册 到 Etcd 组 件 中 ， 是 通过 curl 命 令 以 REST-API 方 式 提交 的 ， 下 面 详细 介绍 通过 Shell 及 Python-API 两 种 方式 的 实现 方法 ， 支 持 容器 启动 、 停 止 的 联动 。 
1.Shell 脚 本 实现 方法 


实现 的 原理 是 通过 获取 “Docker run**” 命 令 输出 的 Container ID， 通 过 “docker inspect Container ID” 得 到 详细 的 容器 信息 ， 分 析出 容器 服务 映射 的 外 部 端口 及 容器 名 称 ， 将 以 “/app/servers/ 
容器 名 称 ” 作 为 Key，“ 主 宿 机 : 映射 端口 ”作为 Value 注册 到 Etcd 中 。 其 中 Key 信 息 前 缀 (/app/servers) 与 “/etc/confd/conf.d/haproxy.toml” 中 的 “keys” 参 数 是 保持 一 致 的 ， 完 整 的 脚本 如 下 : 








[docker.sh) 





#!/bin/bash 





if 1 -zs $1 J] then 
echo "Usage: c run <image name>:<version>" 
echo " c Stop <container name>" 
exit 1 
交 
if [ -z $ETCD HOST ]; then 
ETCD HOST="192.168.1.21:4001" # 指 定 默认 ELcd 主 机 地 址 ; 
fi 
if -Zz $ETCD PREFIX ]; then 
ETCD_ PREFIX="app/servers" # 指 定 业务 Etcd key 信 息 ; 
fi 
if [ -z $CPORT ]; then 
CPORT="80" # 指 定 默 认 服 务 端口 ; 
fi 
if [ -z $FORREST IP ]; then 
# 指 定 主 宿 机 服务 TP 地址， 如 eth0; 
FORREST _IP= `ifconfig eth0| grep "inet addr" | head -1 | cut -d : -f2 | awk '{print $1}'. 
Fi 
function launch container { # 启 动容 器 处 理 函 数 ; 


echo "Launching $1 on $FORREST IP http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/..." 
CONTAINER ID=“docker run -d --dns 172.17.42.1 -P -v /data:/data -~v /etc/httpd/conf:/etc/httpd/conf -~v /etc/httpd/conf.d:/etc/httpd/conf.d -v /etc/localtime:/etc/localtime:r 


# 启 动容 器 并 获得 容器 ID 号 ; 
PORT=" docker inspect $CONTAINER ID|grep "\"Ports\"" -A 50|grep "\"$CPORT/tcp\"" -A 3| grep HostPort|cut -d '"' -f4|head -1 # 根 据 容器 ID 获 得 容器 映射 的 随机 端口 ; 
NAME=“ docker inspect $CONTAINER ID | grep Name | cut -d '"' -f4 | sed "s/\///g"|sed -n 2p- # 根 据 容器 ID 获得 容器 名 称 ; 


echo "Rnnouncing to $ETCD HOSThttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/..." 
# 向 Etca 主 机 提交 容器 注册 信息 ， 内 容 包括 容器 服务 IP、 端 口 及 名 称 ; 
Curl -XPUT "http://$ETCD HOST/v2/keys/$ETCD PREFIX/$NAME" -d value=" $FORREST IP:$PORT™ 
echo "$1 running on Port $PORT with name SNRME" 
} 
function stop container { # 停 止 容器 处 理 函 数 ; 
echo "Stopping $1http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/OEBPSVText/..." 
CONTRAINER_ID= `docker ps -al grep $1 | awk '{print S$S1} 
# 根 据 传 入 的 容器 名 获得 容器 ID 
echo "Found container $CONTAINER ID" 
docker stop $CONTAINER ID Ee 
# 向 Etcd 主 机 提交 待 删除 的 key 信 息 (容器 名 称 ) ; 
Curl -XDELETE http://$ETCD HOST/v2/keys/$ETCD PREFIX/$1 &> /dev/null 
echo "Stopped." 


} 

if [ $1 = "run" ]; then 
launch container $2 

else 
stop_container $2 

fi 














docker.sh 脚 本 使 用 方法 非常 简单 ， 只 需要 传 入 相对 的 镜像 或 容器 名 称 即 可 ， 如 下 : 








启动 一 个 容器 
# ./docker.sh run yorko/webserver:v3 (镜像 名 ) 停止 一 个 容器 
# ./docker.sh stop berserk_hopper (容器 名 ) 





2.Docker-py API 实现 方法 








通过 调用 Docker 的 Python API 可 实现 远程 对 容器 进行 操作 ， 包 括 容器 的 创建 、 运 行 、 停 止 、 镜 像 管理 、 获 取 Docker 对 象 相关 信息 等 ， 同 时 结合 Etcd 的 Python API 模 块 对 Etcd 进 行 操作 ， 包 括 set 及 
delete 等 ， 达 到 与 Shell 方 式 一 样 的 效果 。 很 明显 ，Docker-py 方 式 更 容易 扩展 ， 可 以 无 颖 与 现 有 运营 平台 对 接 。 








为 兼顾 到 远程 API 操 作 支 持 ， 需 对 Docker 启 动 文件 “exec” 处 进行 修改 ， 详 细 内 容 如 下 : 


【/etc/init.d/docker】 (Ubuntu 系 统 默 认 路 径 为 /etc/default/docker) 





$exec -H tcp://0.0.0.0:2375 -HB unix:///var/run/docker.sock -d &>> $logfile & 























为 便于 功能 模块 的 引用 ， 拆 分 成 两 个 Python 文 件 ， 其 中 一 个 为 启动 容器 程序 ， 另 一 个 为 停止 容器 程序 ， 下 面 为 完整 启动 容器 程序 源码 ， 流 程 分 连接 Docker 主 宿 机 ， 创 建 容 器 并 启动 ， 最 后 获取 该 容器 
相关 信息 注册 至 Etcd 主 机 。 


【docker run.py) 





#!/usr/local/Python/bin/python 

import docker 

import etcd 

import sys 

Etoed ip="192,168.1.21" # 定 义 Ptcd 主 机 地 址 ; 

Server ip="192.168.1.22" # 定 义 当 前 连接 的 主 宿 机 IP; 
App_port="80" # 定 义 默认 服务 端口 ; 

# 定 义 默 认 服务 协议 ; 

# 定 义 默认 镜像 名 ; 





try: 

# 创 建 主 宿 机 连接 对 象 ; 

C = docker.Client (base url='tcp://'+Server ip+':2375',version='1.14',timeout=15) 
except Exception,e: 

print "Connection docker server error:"+Str (e) 

sys.exit () 
try: 

rinfo=c.create container (image=Image, stdin open=True, tty=True, command="/usr/bin/supervisord -c /etc/supervisord.conf",volumes=['/data', '/etc/httpd/conf', '/etc/httpd/conf.d 
','/etc/localtime'],ports=[80,22],name=None) # 调 用 create container () 方法 创建 容器 ; 

containerId=rinfo['Id'] # 获 取 容 器 ID; 
except Exception,e: 

print "Create docker container error:"+str(e) 

sys.exit () 
try: 

c.start (container=containerId, binds={'/data':{'bind': '/data','ro': False},'/etc/httpd/conf':{'bind': '/etc/httpd/conf','ro': True},'/etc/httpd/conf.d':{'bind': '/etc/htt 
pd/conf.d', 'ro': True},'/etc/localtime':{'bind': '/etc/localtime','ro': True}}, port bindings={80:None,22:None}, lxc conf=None,publish all ports=True, links=None, privileged=F 
alse, dns="'172.17.42.1', dns_search=None, volumes from=None, network mode=None, restart policy=None, cap_add=None, cap_drop=None) # 启 动容 器 服务 ; 
except Exception,e: 

print "Start docker container error:"+str (e) 

sys.exit () 
try: 

idict=c.inspect_container (containerId) # 调 用 inspect_container () 方 法 获取 容器 信息 ; 

Name=idict["Name"] [1:] 

skey=App_port+'/'+App_ protocol 

for key in idict["NetworkSettings"] ["Ports"].keys(): 

if key==skey: 
Port=idict ["NetworkSettings"] ["Ports"] [skey] [0] ["HostPort"] 

except Exception,e: 

print "Get docker container inspect error:"+str (e) 

sys.exit () 
if Name!="" and Port!="": 






trys 
# 连 接 Etcd 主 机 ， 提 交 容 器 注册 信息 ; 
client = etcd.Client (host=Etcd ip, port=4001) 
client .write('/app/servers/'+Name, Server ipt":"+str(Port)) 
print Namet+" container run success!" 

except Exception,e: 
print "set etcd key error:"+str(e) 

else: 
print "Get container name or port error.™" 





停止 容器 服务 完整 程序 如 下 : 


【docker stop.py】 





#!/usr/local/Python/bin/python 
import docker 

import etcd 

import sys 


Etcd ip="192,168.1.21" # 定 义 Etcd 主 机 地 址 ; 
Server ip="192.168.1.22" # 定 义 当前 连接 的 主 宿 机 IP; 


containerName="grave_franklin" # 指 定 需要 停止 容器 的 名 称 ; 


try: 
# 创 建 主 宿 机 连接 对 象 ; 
C = docker.Client (base url='tcp://'+Server ip+':2375',version="'1.14',timeout=10) 
# 调 用 stop () 方法 停止 指定 容器 ; 
c.stop('furious heisenberg') 
except Exception,e: 
print str(e) 
sys.exit () 
try: 
# 连 接 Etcd 主 机 ， 提 交 容器 删除 请 求 ; 
client = etcd.Client (host=Etcd ip, port=4001) 
client .delete ('/app/servers/'+containerName) 
print containerName+" container Stop success!" 
except Exception,e: 
print str(e) 





@@ 注 意 


由 于 容器 是 无 状态 的 ， 尽 量 让 其 以 松散 的 形式 存在 ， 映 射 端口 选项 要 求 使 用 “-P” 参 数 ， 即 使 用 随机 端口 的 模式 ， 以 减少 人 工 干预 。 
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截至 目前 ，HECD 架 构 已 部 署 完 毕 ， 接 下 来 就 是 让 其 为 我 们 服务 ， 案 例 中 使 用 的 镜像 “yorko/webserver: v3” 是 一 个 已 经 构建 好 的 “LAMP 环 境 ” 的 镜像 。 在 Docker Hub 中 的 位 置 
是 : https://hub.docker.com/r/yorko/webserver/， 在 主 宿 机 中 执行 以 下 命令 来 获取 该 镜像 : 








# docker pull yorko/webserver:v3 





开始 跑 起 ， 登 录 任 一 台 主 宿 机 (本 示例 为 192.168.1.22 主 机 ) ， 为 便于 测试 ， 在 主 宿 机 容器 挂 载 “/data” 分 区 创建 一 个 index.php (主页 测试 ) 文件 ， 源 码 如 下 : 








【/data/index.php]】 





<!Doctype html><html xmlns=http://www.w3.org/1999/xhtml> 
<head> 
<meta http-equiv=Content-Type content="text/html;charset=utf-8"><title> 我 的 主页 </title> 
</head> 
<body> 
<h1>Hel1o world</h1> 
<h2> 当 前 容器 : <?=gethostname (); ”// 输 出 容器 主机 名 ?></h2> 
</body> 
</html> 








出 








再 执行 docker.sh 脚 本 ， 当 然 也 可 登录 一 台 管 理 机 执行 Docker-py 相 关 脚 本 达到 同样 效果 ， 图 14-3 所 示 为 创建 的 三 个 容器 截图 。 














[rootesSsN2813-08-022 docker ]# ./docker.sh run yorko/webserver:yv3 

Launching yorko/webserver:v3 on 192.168.1.22 ... 

Announcing to 192,108.1,21:4001... 

{"action":"set", "node":|"Key”":" 

:9,"createdIndex" :93}} 
/Webservyer:v3 running on Port 49160 with name reverent_hypatia 

| rooteSN2013-08-022 docker |# 

[root@SN2013-08-@22 docker]# ./docker.sh run yorko/webserver:v3 

aunching yorko/webserver:v3 on 192.168.1.22 

Announctng to 192.168.1.21;4001.,， 


/app/servers/reverent_hypatiqa”, "value":"192.168.1.22:;49160", "modifliedlndex" 


{"action";"set", "node".,{"key";:"/app/servers/desperate. bohr","value";"192.168.1.22;49162", "modifiedIndex" :1 


8,"createdIndex" :10}+} 

yorko/webserver:v3 running on Port 49162 with name desperate_bohr 
[rooteSsN20913-08-822 docker]# 

| rooteSN2013-08-O22 docker |# ./docker,sh run yorko/webserver:v3 
Launching yorko/webserver:v3 on 192.168.1.22 

Announcing to 192.168.1.21:4001 . 


{"action":"set", "node"’:|"Key":"/app/servers/determined_shockley","value":"]192,168.1.,.22:4916b4", "modifiedind 


[a :TI1， "CreotedIndex” :11 


yorko/webserver:v3 running on Port 49164 with name determined_shockley 


图 14-3 ”创建 容器 运行 结果 
































如 图 14-3 所 示 ， 说 明 已 经 成 功 启动 了 desperate_bohr、determined_shockley、reverent_hypatia 三 个 容器 ， 且 成 功 注册 至 Etcd3 


FE 机 ， 下 面 我 们 看 看 haproxy.cfg 发 生 了 什么 变化 。 如 


















































加 了 三 条 server ACL 规 则 (截图 框 内 部 分 ) ， 其 中 第 二 列 与 第 三 列 的 信息 是 从 Ectd 侧 定时 拉 取 ， 通 过 Confd 模 板 引 警 进行 泻 染 ， 最 终生 成 了 图 14-4 所 示 的 haproxy.cfg 配 置 。 

















14-4 所 示 ， 增 


Log 127.0.09.1 local3 
mode http 

option dontlLognull 
retries 3 

option Predispatch 
maxconn 2009 
contimeout 5000 
clitimeout 50000 
srvtimeout 50000 


listen frontend 0.0.0.8:80 


接 下 来 访问 接 入 





下 面 访问 接 入 层 Web 服 务 地 址 : 








mode http 

balance roundrobin 
maxconn 2200 
option forwardfor 


server desperate_bohr 192.168.1.22:49162 check 1inter 5000 fall 1 rise 2 


server determined shockley 192.168.1.22:49164 check inter 5008 fall 1 rise 2 


server reverent_hypatia 192.168.1.22:49168 check inter 5000 foll 1 rise > 


stats enable 


stots url /admin-status 
stats Quth admin:123456 


stats admin 1f TRUE 


层 Haproxy 管 理 地 址 : 











atus， 可 以 看 到 三 个 容器 已 处 正常 服务 状态 ， 且 具备 了 负载 均衡 、 故 障 迁移 等 功能 ， 如 医 


ip， 根 据 负载 均衡 策略 ， 会 显示 当前 命令 中 的 容器 ID (容器 主机 名 ) ， 刷 新 页 面 时 会 不 定期 发 生 


图 14-4 ”haproxy.cfg 部 分 配置 截图 











14-5 所 示 。 














变化 ， 如 图 























最 后 ,我 们 再 测试 下 删除 容器 的 效果 ， 具 体操 作 如 图 14-7 所 示 。 我 们 删除 名 称 为 “determined_shockley” 的 容器 ， 同 时 脚本 会 将 信息 提交 至 Etcd 主 机 ,删除 


haproxy.cfg 配 置 。 
































刷新 Haproxy 管 理 页 面 ， 如 图 14-8 所 示 ， 发 现 “determined shockley” 对 应 的 主机 成 员 已 经 被 删除 ， 测 试 删除 功能 成 功 。 





容器 对 应 


14-6 所 示 。 





的 key， 以 便 Confd 同 时 更 新 





€ PC |D192168.120/admin-status QQ 六 | 者 





HAProxy version 1.4.24, released 2013/06/17 
Statistics Report for pid 1803 


> General process information 


id = 1803 a actve UP backup UP Display optid 
i = a 58 SN active UP, going down backup UP, going down 


system limits: memmax = unlimited; ylimit-n = 10014 active DOWN, going up backup DOWN, going up 
maxsock = 10014; maxconn = 5000; maxpipes = 0 actve or backup DOWN 图 not checked 
current conns = 1; current pipes = 0/0 


Running tasks: 1/4 active or bac kup DOWN for maintenance (MAINT) 


Note: UP with load-balanc ng disabled is reported as "NOLB". 
人 


re 这 TT © i nrat ei . a a 全 
| re Er ry! ar [417534| 0 





desperate_bohr | 
rr | shockley 


EC 二 | 
四 


Choose the action to perform on the checked servers : Y | | Apply 





Hello world 


当前 容器 : |bal149981177 输出 容器 主机 名 ， 随 负载 均衡 特性 动态 变化 














司 14-6 ”Web 服 务 首页 截图 








[root@SN2013-08-022 docker|# ./docker.sh Stop determined_shockley 
Stopping determined_shockley... 

Found container 9194032c4aal 

9194032c4aal 


http://192.168.1.21:4001/v2/keys/app/servers/determined_shockley 
Stopped. 


[Lroot@SN2013-@8-Q22 docker ]# 





图 14-7 删除 容器 命令 截图 


frontend 


Choose the action to perform on the checked servers : 





图 14-8 ”删除 后 Haproxy 管 理 页 截图 
注意 
14.2 节 架构 参考 http://ox86.tumblr.com/post/90554410668/easy-scaling-with-docker-haproxy-and-confd。 


14.3.4 节 docker.sh 脚 本 参考 https://github.com/AVGP/forrest/blob/master/forrest.sh。 


14.5 ”本 章 小 结 





本 章 主 要 向 用 户 介绍 了 通过 Haproxy、Etcd、Confd 三 个 组 件 ， 如 何 与 Docker 进 行 结合 ， 实 现 一 个 具备 高 可 用 及 自动 发 现 的 服务 架构 ， 笔 者 约定 该 架构 为 “HECD”， 同 时 介绍 了 该 架构 的 技术 特点 及 
实现 原理 ， 包 括 环境 的 部 署 、 配 置 及 常规 操作 ， 最 后 介绍 流行 的 “LAMP” 环 境 是 如 何 应 用 该 架构 实现 在 线 服务 的 。“HECD” 架构 比较 适合 中 、 小 型 服务 集群 ， 技 术 门 槛 相对 较 低 。 对 于 编排 要 求 更 高 且 服 
务 集 群 规 模 较 大 的 ， 笔 者 强烈 推荐 使 用 Kubernetes， 相 关内 容 请 阅读 第 13 章 内 容 。 




















第 15 章 Docker Overlay Network 实 践 





从 1.9 版 本 开始 ，Docker 开 始 支持 Overlay Network， 解 决 了 跨 主机 通信 的 问题 。 在 这 之 前 ，Docker 本 身 没 有 一 种 好 的 跨 主机 通信 方案 ， 只 能 通过 许多 第 三 方 工具 来 解决 ， 如 weave、flannel 等 。 本 章 
主要 介绍 Docker 自 身 的 Overlay Network 的 实现 。 

















15.1 “环境 介绍 


三 台 主 机 : 





nodel 172.17.42.40 
node2 172.17.42.41 
node3 172.17.42.42 








其 中 node1 和 node2 作 为 Docker 容 器 的 主机 ， 在 node3 上 运行 Etcd。 


OS 内 核 版 本 : 





[root@nodel ~]# uname -a 
Linux nodel 4.3.3-1.e16.elrepo.x86 64 





Docker 版 本 : 





[root@nodel ~]# docker version 
Client: 

Version: 1 101 

API version: 1.22 

Go version: gol1.5.3 

Git commit: 9e83765 


Bui lt Thu Feb 11 20:39:58 2016 
OS/Arch: linux/amd64 
Server: 


Version: 1.10.1 

API version: 1.22 

Go version: ol .5.3 

Git commit: 9e83765 

Boilt: Thu Feb 11 20:39:58 2016 
OS/Arch: linux/amd64 





15.2 ”容器 与 容器 之 间 通 信 
15.2.1 启动 docker daemon 


在 node1 和 node2 上 启动 Docker: 





#/usr/bin/docker daemon --cluster-store=etcd://172.17.42.43:2379 --cluster-advertise=eth0:2376 





“ --clustet-store= 参 数 指向 docketr daemon 所 使 用 key value service 的 地 址 。 
“ --cluster-advettise= 参 数 决定 了 所 使 用 网 卡 及 docker daemon 端 口 信息 。 


当 docker daemon 启 动 后 ， 会 自动 创建 三 个 网 络 : bridge、host、none。 








[root@nodel ~]# docker network ls 


NETWORK ID NAME, DRIVER 
2b2961121f3c bridge bridge 
adfé6dlb8cdal none null 
8263553e76e4 host host 
[root@node2 ~]# docker network ls 

NETWORK ID NAME DRIVER 
0fc8ed04cbee bridge bridge 
b6f4e21451d2 none null 
5875c84936d8 host host 





15.2.2 ”创建 网 络 




















在 node1 上 创建 一 个 名 为 “overlay” 的 Overlay 网 络 ， 网 络 使 用 的 网 段 为 192.168.10.0/24: 





[root@nodel ~]# docker network create --internal -d overlay --subnet=192.168.10.0/24 overlay 
1dc144293al186332d485924fc951d27ed200dfdfd409fc31765093be0b928f0 





网 络 信息 会 自动 同步 到 node2: 





[root@node2 ~]# docker network ls 





NETWORK ID NAME, DRIVER 
1dc144293all overlay overlay 
0fc8ed04cbee bridge bridge 
b6f4e21451d2 none null 
5875c84936d8 host host 
查看 网 络 信息 : 





[root@nodel ~]# docker network inspect overlay 
[ 
{ 








"Name": "overlay", 

"Id": "ldc144293a1186332d485924fc951d27ed200dfdfqd409fc31765093be0b928f0", 
"Scope": "global", 

"Driver": "overlay", 

"IPAM": { 

"Driver"; "default", 

"Options": null, 

"Config"; TI 


{ 
"Subnet": "192.168.10.0/24" 

} 

] 
}, 
"Containers": {}, 
"Options": {} 
上 

] 





15.2.3 ”启动 容器 


在 node1 和 node2 上 各 启动 一 个 容器 : 





[root@nodel ~]# docker run --net=overlay -itd --name='vml' sshd:1.0 
305ad9368b0933638899eeaalcc480393ffd378dq5591ae27bqc7f08e24241765 
[root@node2 ~]# docker run --net=overlay -itd --name='vm2' sshd:1.0 


315d6bc52bdd1201d9b9bec4ea3a7542df0c8206f585434d60eaa7f483cf2558 





容器 vm1 的 网 络 信息 : 





[root@nodel ~]# docker exec vml ip a 
1: 1o: <LOOPBACK,UP,LOWER UP> mtu 65536 qdisc noqueue state UNKNOWN 
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 
inet 127.0.0.1/8 scope host lo 
Valid 1ft forever preferred 1ft forever 
inet6 ::1/128 scope host 
valid 1ft forever preferred 1ft forever 
31: eth0@if32: <BROADCAST, MILTICAST, UP, LOWER_UP, M-DOWN> mtu 1450 qdisc noqueue state UP 
link/ether 02:42:c0:a8:0a:02 brd ff:ff:ff:ff:ff:ff 
inet 192.168.10.2/24 scope global eth0 
valid 1ft forever preferred 1ft forever 
inet6 fe80::42:c0ff:fea8:a02/64 scope link 
valid 1ft forever preferred lft forever 
[root@nodel ~]# docker inspect vml 
L's 
"NetworkSettings": { 
"Bridge":; 
"SandboxID": "3d53b1063c52fe5ceaaee204fc98641c8d8e95cb701589038f£14213de3f75fbe", 
"HairpinMode": false, 
"LinkLocalIPv6éAddress": "™", 
"LinkLocalIPv6éPrefixLen": 0, 
"porte"™: Tv 
"SandboxKey": "/var/run/docker/netns/3d53b1063c52", 
"SecondaryIPAddresses": null, 
"SecondaryIPv6éAddresses": null, 
"EndpointID": ™", 
"Gateway": "" 
"GlobalIPvéAddress": "", 
"GlobalIPv6éPrefixLen": 0, 
"IPAddress": "", 
"IPPrefixLen": 0, 
"IPv6Gateway": 

















"overlay": { 
"IPAMConfig": null, 
"ine Halls 
"Aliases": null, 





"NetworkID": "ldc144293al186332d485924fc951927ed200dfdfd409fc31765093be0b928£0", 
"EndpointID": "a5a97a57db307af2d5166b75186148eb3df59a254clbd4c0fclb9b579009971b", 
"Gateway" : 


1 
"IPAddress": "192.168.10.2", 
"IPPrefixLen": 24, 
"IPvéGateway": "", 


"GlobalIPv6éAddress": "", 
"GlobalIPv6éPrefixLen": 0, 
"MacAddress": "02:42:c0:a8:0a:02" 
} 
: 
} 





容器 vm2 的 网 络 信息 : 





[root@node2 ~]# docker exec vm2 ip a 
1: 1o: <LOOPBACK,UP,LOWER UP> mtu 65536 qdisc noqueue state UNKNOWN 
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 
inet 127.0.0.1/8 scope host lo 
valid 1ft forever preferred lft forever 
inet6 ::1/128 scope host 
Valid 1ft forever preferred 1ft forever 
31: eth0@if32: <BROADCAST,MULTICAST, UP, LOWER UP,M-DOWN> mtu 1450 qdisc noqueue state UP 
link/ether 02:42:c0:a8:0a:03 brd ff:ff:ff:ff:ff:ff 
inet 192.168.10.3/24 scope global eth0 
valid 1ft forever preferred 1ft forever 
inet6 fe80::42:c0ff:fea8:a03/64 scope link 
valid 1ft forever preferred lft forever 
[root@node2 ~]# docker inspect vm2 
Es 
"NetworkSettings": { 
"Bridge": mn 
"SandboxID": "19722a2038754e329f£5313bd8366c1la765a83d56af07e9915d58eldad7dbcde8", 
"HairpinMode": false, 
"LinkLocalIPv6éAddress": "™", 
"LinkLocalIPv6éPrefixLen": 0, 
norters {ths 
"SandboxKey": "/var/run/docker/netns/19722a203875", 
"SecondaryIPAddresses": null, 
"SecondaryIPv6éAddresses": null, 
"EndpointID"; "wy 


"Gateway": 了 











"GlobalIPv6éAddress": "", 
"GlobalIPv6PrefixLen": 0, 
"IPAddress": "mv 
"IPPrefixLen": 
"IPv6Gatewa: 

"MacAddre. 





"overlay" 
"IPAMConfig": null, 
"Links": null, 
"Aliases": null, 





"NetworkID": "1dc144293al1186332d485924fc951d27edq200dfdfd409fc31765093be0b928f0"， 
"EndpointID": "7123c69e51ad43fc4dq7a5ffc9167ff8c07b691190988b90eaa86128elb005bb5"， 
"Gateway": 


1 
"IPAddress": "192.168.10.3", 
"IPPrefixLen": 24, 
"IPv6éGateway": "ny 
"GlobalIPv6éAddress": "", 
"GlobalIPv6éPrefixLen": 0, 
"MacAddress": "02:42:c0:a8:0a:03" 
} 
} 
} 
} 
] 





可 以 看 到 ， 容 器 vm1 的 IP 为 192.168.10.2/24，vm2 的 IP 为 192.168.10.3/24。 从 vm1 访 问 vm2: 





[root@nodel ~]# docker exec vml ping -c 3 192.168.10.3 
PING 192.168.10.3 (192.168.10.3) 56(84) bytes 
64 bytes from 192.168.10.3: icmp seq=l1 tt1=64 
64 bytes from 192.168.10.3: icmp seq=2 ttl1=64 
64 bytes from 192.168.10.3: icmp seq=3 ttl1=64 
= 92.168.10.3 ping statistios 一 

3 packets transmitted, 3 received, 0% packet loss, time 1999ms 
rtt min/avg/max/mdev = 0.240/0.288/0.355/0.050 ms 








15.3”Docker 的 VXLAN 实 现 





Docker 自 身 的 Overlay Network 是 基于 VXLAN 实 现 的 。VXLAN 协 议 是 一 个 隧道 协议 ,设计 出 来 是 为 了 解决 VLAN ID (只 有 4096 个 ) 不 够 用 的 问题 。VXLAN ID 有 三 个 字 节 (24bit) ， 最 多 可 以 支持 
16777216 个 隔离 的 VXLAN 网 络 。 














VXLAN 将 以 太 网 包 封装 在 UDP 中 ， 并 使 用 物理 网 络 的 IP/MAC 作 为 outer-header 进 行 封装 ， 然 后 在 物理 网 络 上 传输 ， 到 达 目 的 地 后 由 隧道 端点 解 封 并 将 数据 发 送 给 目标 机 器 。 这 些 对 报 文 做 封装 和 和 解 圭 
装 的 隧道 端点 被 称 为 VTEP (Vlan Transport End Point) 。 对 于 Docker 容 器 ， 宿 主机 Host 即 为 VTEP。 


15.3.1 ”VXLAN 帧 结构 


VXLAN 数 据 帧 的 格式 如 下 : 


Inner 
TCP/UDP | data 
header 


Outer |P Inner Ethernet | Inner IP 


header header header 





我 们 可 以 在 node2 上 通过 tcpdump 抓 取 vm1 发 送 到 vm2 的 包 : 


Time Source Destination Protocol Length 
0.000000 192.168.10.2 192.168.10.3 ICMP 148 request 
0.000146 192.168.10.3 192.168.10.2 ICMP 148 reply 
0.999847 192.168.10.2 192.168.10.3 ICMP 148 request 
0.999929 192.168.10.3 192.168.10.2 ICMP 148 reply 
1.999843 192.168.10.2 192.168.10.3 ICMP 148 request 
1.999931 192.168.10.3 192.168.10.2 ICMP 148 reply 
Frame 1: 148 bytes on wire (1184 bits), 148 bytes captured (1184 bits) 
Ethernet II, Src: 52:54:60:11:02:01 (52:54:60:11:02:01), Dst: 52:54:60:11:02:02 (52:54:60:11:02:02) 
Internet Protocol Version 4, Src: 172.17.42.40, Dst: 172.17.42.41 
User Datagram Protocol, Src Port: 37390 (37398), Dst Port: 4789 (4789) 
Virtual eXtensible Local Area Network 
b Flags: 0x0800, VXLAN Network ID (VNI) 
Group Policy ID: 0 
VXLAN Network Identifier (VNI): 256 
Reserved: 0 
Ethernet II, Src: 02:42:c9:a8:0a:02 (02:42:c0:a8:0a:02)，Dst: 02:42:c0:a8:0a:03 (02:42:c8:a8:0a:03) 
Internet Protocol Version 4, Src: 192.168.10.2, Dst: 192.168.10.3 
Internet Control Message Protocol 





15.3.2 ”Docker 内 部 实现 


Docker 会 为 每 个 Overlay Network 创 建 一 个 独立 的 network namespace， 名 称 为 1-$1D 的 形式 : 





[root@nodel ~]# ip netns ls 
1-1dc144293a 
[root@nodel ~]#ip netns exe 1-1dc144293a ip a 
1: 1o: <LOOPBACK,UP,LOWER UP> mtu 65536 qdisc noqueue state UNKNOWN 
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 
inet 127.0.0.1/8 scope host lo 
Valid 1ft forever preferred 1ft forever 
inet6 ::1/128 scope host 
valid 1ft forever preferred lft forever 
2: br0: <BROADCAST, MULTICAST, UP, LOWER UP> mtu 1450 qdisc noqueue state UP 
link/ether 0a:6a:d9:51:9d:9a brd ff:ff:ff:ff:ff:ff 
inet 192.168.10.1/24 scope global br0 
valid 1ft forever preferred lft forever 
inet6 fe80::cc37:d6ff:feb8:c7c0/64 scope link 
Valid 1ft forever preferred 1ft forever 
30: vxlanl: <BROADCAST, MULTICAST, UP, LOWER_ UP> mtu 1500 qdisc noqueue master br0 state UNKNOWN 
link/ether ea:84:00:ba:dd:52 brd ff:ff:ff:ff:ff:ff 
inet6 fe80::e884:ff:feba:dd52/64 scope link 
Valid 1ft forever preferred 1ft forever 
32: veth2@if31: <BROADCAST, MJLTICAST, UP, LOWER_ UP> mtu 1450 qdisc noqueue master br0 state UP 
link/ether 0a:6a:d9:51:9d:9a brd ff:ff:ff:ff:ff:ff 
inet6 fe80::86a:d9ff:fe51:9q9a/64 scope link 
valid 1ft forever preferred 1ft forever 
[rootGnodel ~]# ip netns exe 1-1dc144293a brct1 show 


bridge name bridge id STP enabled interfaces 
br0 8000.0a6ad9519d9a no veth2 
vxlanl 








其 中 ，veth2 连 接 容 器 内 部 的 Veth 网 络 设备 (eth0) 。vxlan1 为 VXLAN 设 备 ， 负 责 VXLAN 协 议 的 封装 和 和 解 封 。 





[root@nodel ~]# ip netns exe 1-1dc144293a ip -d link show vxlanl 

30: vxlanl: <BROADCAST, MULTICAST, UP,LOWER UP> mtu 1500 qdisc noqueue master br0 state UNKNOWN mode DEFAULT 
link/ether ea:84:00:ba:dd:52 brd ff:ff:ff:ff:ff:ff Promiscuity 1 

vxlan id 256 srcport 0 0 dstport 4789 proxy l2miss l3miss ageing 300 





整体 网 络 结构 如 下 : 


nodel 172.17.42.40 node2 172.17.42.41 


ethO 
192.168.10.3 


etho 
192.168.10.2 


站 


1 会 












VXLAN tunnel 
overlay netns 区 EU 一 “一 一 


和 


= 






eth1 


15.3.3 Linux VXLAN 设 备 


前 面 的 章节 已 经 介绍 了 Docker 是 通过 Linux 内 核 的 VXLAN 设 备 实现 VXLAN 协 议 的 封装 和 解 封 。 在 这 里 ，VXLAN 需 要 解决 两 个 核心 的 问题 。 
(1) Overlay Network 的 ARP 广 播 问 题 


当 容 器 vm1 (192.168.10.2) 想 访问 容器 vm2 (192.168.10.3) 时 ， 首 先 就 是 向 二 层 网 络 发 送 ARP 广 播 请 求 ， 获 取 192.168.10.3 对 应 的 MAC 地 址 。 





VXLAN 的 思路 是 求助 于 三 层 组 播 。 道 理 很 简单 ， 每 个 VNI 对 应 于 一 个 IPv4 三 层 的 组 播 地 址 ， 然 后 相关 的 VTEP 必 须 加 入 到 此 组 播 地 址 中 去 。 当 VTEP 发 现 某 个 报 文 的 DMAC 是 广播 地 址 时 ， 目 的 IP 被 设 成 
此 VNI 对 应 的 三 层 组 播 地 址 。 这 样 所 有 相关 的 VTEP 节 点 都 会 收 到 此 报 文 。 但 这 要 求 下 层 物理 网 络 支持 IP 组 播 。 


实际 上 ， 我 们 可 以 给 VXLAN 设 备 配置 IP/MAC 映 射 关系 ， 这 样 就 不 需要 下 层 的 |P 组 播 网 络 了 。Docker 采 用 的 正 是 这 种 方式 : 





[root@nodel ~]# ip netns exe 1-1qc144293a ip neigh show dev vxlanl 
192.168.10.3 lladdr 02:42:c0:a8:0a:03 PERMANENT 





(2) 确定 目标 VTEP 
解决 了 ARP 问 题 ， 当 node1 上 的 VXLAN 设 备 收 到 vm1 发 送 的 (MAC2，MAC1) 数据 帧 时 ， 它 需要 知道 MAC2 对 应 的 目标 VTEP， 即 node2。 


实际 上 ，VXLAN 内 部 维护 了 一 张 <MAC，VTEP> 的 转发 表 (FDB) 。Docker 在 创建 容器 vm2 时 ， 就 会 将 容器 对 应 的 MAC 地 址 和 Host IP 信 息 ， 即 < MAC2，node2> 加 到 转发 表 中 。 





[root@nodel ~]# ip netns exe 1-1dc144293a bridge fdb show dev vxlanl 
ea:84:00:ba:dd:52 Permanent 

ea:84:00:ba:dd:52 vlan 1 Permanent 

02:42:c0:a8:0a:03 dst 172.17.42.41 self permanent 





15.4 ”容器 访问 外 部 网 络 


前 面 介绍 了 容器 与 容器 之 间 的 通信 ， 很 多 时 候 ， 容 器 还 需要 与 外 部 网 络 通 信 。 但 是 ，Overlay 网 络 是 无 法 直接 与 外 部 网 络 通 信 的 。 假 设 容器 vm1 (192.168.10.2) 需要 访问 外 部 主机 ， 比 如 
node3 (172.17.42.43) ， 我 们 可 以 将 vm1 加 入 bridge 网 络 ， 然 后 通过 node1 上 的 NAT 实 现 与 node3 的 通信 。 





[root@nodel ~]# docker network inspect bridge 
[ 





{ 
"Subnet": "172.18.0.0/16", 
"Gateway": "172.18.0.1" 

} 


] 
} 


"Containers": {}, 


"Options": { 
"com.docker .network.bridge.default bridge": "true", 
"com.docker.network.bridge.enable icc": "true", 
"com.docker.network.bridge.enable ip masquerade": "true", 
"com.docker .network.bridge.host binding ipv4": "0.0.0.0", 
"com.docker .network.bridge.name": "dockerO", 
"com.docker.network.driver.mtu": "1500" 
} 

了 
] 
[root@nodel ~]# docker network connect bridge vml 
[root@nodel ~]# docker exec vml ip a 
1: 10: <LOOPBACK,UP,LOWER UP> mtu 65536 qdisc noqueue state UNKNOWN 
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 
inet 127.0.0.1/8 scope host lo 
valid 1ft forever preferred lft forever 
inet6 ::1/128 scope host 
valid 1ft forever preferred 1ft forever 
31: eth0@if32: <BROADCAST, MULTICAST, UP, LOWER UP,M-DOWN> mtu 1450 qdisc noqueue state UP 
link/ether 02:42:c0:a8:0a:02 brd ff:ff:ff:ff:ff:ff 
inet 192.168.10.2/24 scope global eth0 
valid 1ft forever preferred lft forever 

inet6 fe80::42:c0ff:fea8:a02/64 scope link 
Valid 1ft forever preferred 1ft forever 
33: eth1@if34: <BROADCAST,MULTICAST, UP, LOWER UP,M-DOWN> mtu 1500 qdisc noqueue state UP 
link/ether 02:42:ac:12:00:02 brd ff:ff:ff:ff:ff:ff 
inet 172.18.0.2/16 scope global ethl 
valid lft forever preferred lft forever 

inet6 fe80::42:acff:fel2:2/64 scope link 
valid 1ft forever preferred lft forever 











可 以 看 到 ， 当 我 们 将 容器 vm1 加 入 网 络 bridge 后 ， 容 器 vm1 内 部 多 了 一 个 eth1 (172.18.0.2) ， 然 后 我 们 访问 node3: 





[root@nodel ~]# docker exec vml ping -c 3 172.17.42.43 

PING 172.17.42.43 (172.17.42.43) 56(84) bytes of data. 

64 bytes from 172.17.42.43: icmp seq=l1 ttl=63 time=0.246 ms 

64 bytes from 172.17.42.43: icmp seq=2 tt1=63 time 177 ms 

64 bytes from 172.17.42.43: icmp seq=3 tt1=63 time=0.221 ms 
-=— 72.17.42543 ping statistics -一 

3 packets transmitted, 3 received, 0% packet loss, time 1999ms 
rtt min/avg/max/mdev = 0.177/0.214/0.246/0.033 ms 








网 络 结构 大 致 如 下 : 


nodel 172.17.42.40 


eth0 ethoO 
172.18.0.2 192.168.10.2 


vethYY vethYY 





overlay netns ET 
node3 172.17.42.43 





15.5 ”外 部 网 络 访问 容器 


如 果 我 们 想 创建 一 个 运行 Nginx 的 容器 vm3， 而 且 希 望 可 以 同时 从 外 部 网 络 主机 (如 node3) 和 内 部 Overlay 网 络 的 容器 (如 vm1) 访问 ， 那 么 该 如 何 实现 呢 ? 


我 们 可 以 先 通过 bridge 网 络 实现 外 部 网 络 访问 vm3: 





[root@node2 ~]# docker run --net=bridge -itd -p 172.17.42.41:8080:80 --name='vm3' nginx:latest 
1401d69084c7467c4b9308fb75c3ee674d081f45e5d42f22984b4e2944cb7a65 
[root@node2 ~]# docker exec vm3 ip a 
1: 1o: <LOOPBACK,UP,LOWER UP> mtu 65536 qdisc noqueue state UNKNOWN group default 
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 
inet 127.0.0.1/8 scope host lo 
valid 1ft forever preferred lft forever 
inet6 ::1/128 scope host 
valid 1ft forever preferred 1ft forever 
37: eth0@if38: <BROADCAST, MULTICAST, UP,LOWER UP> mtu 1500 qdisc noqueue state UP group default 
link/ether 02:42:ac:12:00:03 brd ff:ff:ff:ff:ff:ff 
inet 172.18.0.3/16 scope global eth0 
valid 1ft forever preferred lft forever 
inet6 fe80::42:acff:fel2:3/64 scope link 
valid 1ft forever preferred lft forever 
[root@node2 ~]# iptables -t nat -nvL 
Chain DOCKER (2 references) 
pkts bytes target prot opt in out source destination 
0 0 DNAT top -- !docker0 * 0.0.0.0/0 172.17.42.41 tcp dpt:8080 to:172.18.0.3:80 








我 们 将 Nginx 的 80 映 射 到 node2 上 的 8080 端 口 。 我 们 尝试 从 node3 访 问 : 





[root@node3 ~]# curl -s http://172.17.42.41:8080 


<!DOCTYPE html> 
<html> 
<head> 


<title>Welcome to nginx!</title> 


<style> 


body 


{ 


width: 35em; 
margin: 0 auto; 


font-family: Tahoma, Verdana, Arial, sans-serif; 


} 


</style> 

</head> 

<body> 

<hl>Welcome to nginx!</hl> 
<p>If you see this page, the nginx web server is successfully installed and 


working. Further configuration is required.</p> 


<p>For online documentation and support please refer to 


<a href="http://nginx.org/">nginx.org</a>.<br/> 
Commercial support is available at 

<a href="http://nginx.com/">nginx.com</a>.</p> 
<p><em>Thank you for using nginx.</em></p> 


</body> 


然后 我 们 将 vm3 加 入 overlay 的 网 络 : 


[root@node2 ~]# docker network connect overlay vm3 


[root@node2 ~]# docker exec vm3 ip a 


1: 1o: <LOOPBACK,UP,LOWER UP> mtu 65536 qdisc noqueue state UNKNOWN group default 
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 


inet 


valid 1ft forever preferred lft forever 


127.0.0.1/8 scope host lo 


inet6 ::1/128 scope host 


valid 1ft forever preferred 1ft forever 


37: eth0@if38: <BROADCAST, MILTICAST, UP, LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
link/ether 02:42:ac:12:00:03 brd ff:ff:ff:ff:ff:ff 


inet 172.18.0.3/16 scope global eth0 

valid 1ft forever preferred lft forever 
inet6 fe80::42:acff:fel2:3/64 scope link 

Valid 1ft forever preferred lft forever 


39: eth1@if40: <BROADCAST, MULTICAST, UP, LOWER_UP> mtu 1450 qdisc noqueue state UP group default 
link/ether 02:42:c0:a8:0a:04 brd ff:ff:ff:ff:ff:ff 


inet 192.168.10.4/24 scope global ethl 

valid 1ft forever preferred lft forever 
inet6 fe80::42:c0ff:fea8:a04/64 scope link 

valid 1ft forever preferred lft forever 





然后 我 们 就 可 以 从 vm1 访 问 vm3 的 Nginx 服 务 了 : 





[root@nodel ~]# docker exec vml curl -s http://192.168.10.4 
<!DOCTYPE html> 
<html> 
<head> 


<title>Welcome to nginx!</title> 


<style> 


body 


{ 


width: 35em; 
margin: 0 auto; 


font-family: Tahoma, Verdana, Arial, sans-serif; 


} 


</style> 

</head> 

<body> 

<hl>Welcome to nginx!</hl> 
<p>If you see this page, the nginx web server is successfully installed and 


working. Further configuration is required.</p> 


<p>For online documentation and support please refer to 


<a href="http://nginx.org/">nginx.org</a>.<br/> 
Commercial support is available at 

<a href="http://nginx.com/">nginx.com</a>.</p> 
<p><em>Thank you for using nginx.</em></p> 


</body> 
</html> 
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本 章 





要 参考 : https://docs.docker.com/engine/userguide/networking/dockernetworks/。 























主要 介绍 了 Docker 最 新 的 一 些 网 络 特性 Overlay Network， 以 及 Overlay Network 如 何 与 原 有 网 络 的 互相 通信 等 问题 。Docker 的 原 有 网 络 方案 (bridge) 一 直 广 为 诉 病 ，Docker 自 


Network 寄 予 厚望 ， 希 望 通过 Overlay Network 解 决 bridge 的 一 些 问 题 。 


.第 


第 16 章 ”Docker 源 码 探索 


但 凡 比较 活跃 的 开源 项 目 ， 它 的 代码 质量 也 一 定 很 高 。 


如 果 能 深 


16 章 ” Docker 源码 探索 


第 四 部 分 源码 探索 篇 








因为 只 有 代码 易于 阅读 ， 易 于 修改 ， 才 会 有 更 多 的 开发 者 参与 到 项 目 中 ， 修 改 和 提交 代码 。 像 Docker 这 么 火 的 开源 项 

















入 代码 ， 不 仅 可 以 让 你 深入 透彻 了 解 Docker， 还 可 以 学 习 如 何 用 Golang 编 写 大 型 项 目的 经 验 。 

















这 一 章 ， 我 们 从 Docker 的 源 代码 入 手 ， 讲 解 如 何 修改 源码 ， 如 何 调试 Docker 源 码 。 


16.1 


Docker 源 码 目录 结构 
































， 把 它 使 

















己 对 Overlay 


1 


Docker 的 源码 可 以 在 https://github.com/docker/docker 上 获取 ， 选 择 master 分 支 。 











大 家 可 以 在 github 上 直接 阅读 源码 ， 也 可 以 下 载 到 本 地 ， 根 据 个 人 喜好 ， 选 择 合适 的 代码 阅读 工具 。 这 里 推荐 在 sourcegraph.com 上 阅读 ， 使 用 sourcegraph 的 优势 : 

















“ 简单 易 用 : 在 线 浏览 ， 不 需要 做 任何 配置 。 
“便捷: 鼠标 放 到 代码 上 ， 就 可 以 查看 文档 、 函 数 定义 和 使 用 用 例 。 
“ soutcegraph 和 国产 牛人 王 地 有 很 深 的 渊源 ， 支 持 一 下 。 


Docker 在 sourcegraph 上 的 阅读 地 址 为 https://sourcegraph.com/github.com/docker/docker。 








在 Docker 的 根 目录 下 ， 主 要 的 目录 和 文件 介绍 如 下 : 


























“ Dockerfile: 构建 Docket 源 码 的 编译 环境 。 
. Makefile: 源码 编译 指令 。 
* MAINTAINERS: Docker 主 要 维护 人 员 ， 是 Docker 的 权威 并 决定 Docket 的 走向 ， 他 们 的 言论 和 观点 需要 引起 大 家 足够 的 重视 ， 尤 其 是 Solomon Hykes， 他 是 Docket 的 发 起 人 。 
:AUTHORS: Docker 代 码 贡 献 者 ， 居 然 还 有 一 名 国人 贡献 者 一 -“ 尹 吉 峰 ”， 和 希望 以 后 会 有 更 多 的 国人 参与 这 个 项 目 。 
:CHANGELOG.md: 列 出 每 个 版 本 修改 的 内 容 。 
:LICENSE: 支出 Docker 使 用 Apache License2.0 授 权 协 议 。 
1.Docker 目 录 
在 Docker 文 件 夹 下 ， 主 要 的 文件 及 函数 如 下 : 


“ docker.go: 整个 项 目的 入 口 func main () ， 但 它 不 是 最 先 被 调用 的 。 在 Golang 中 ，init 函 数 先 于 main 函 数 自动 被 调度 。main 函 数 : 主要 执行 各 个 子 模块 init 函 数 中 定义 的 指令 (teexec.Init () ) 和 参数 解 
析 (flag.Parse () ) 。 


:flags.8o: 包含 init 函 数 ， 定 义 Docker 的 server 和 client 共 有 部 分 的 参数 解析 ， 主 要 是 日 志 级 别 和 证 书 路 径 。 

“ daemon.go docker 的 servet 端 处 理 远 辑 : 包含 init 函 数 ， 调 用 daemon/config.go 中 InstallFlags () ， 它 定义 docker server 特 有 参数 的 解析 。 
在 这 里 ， 我 们 解释 一 下 容易 混淆 的 两 个 函数 func init () 与 func Init () 的 区 别 : 

“init () 是 init 却 数 ， 先 于 main 函 数 自动 被 调度 。 


“Init () 是 模块 定义 的 普通 函数 ， 可 以 被 其 他 函数 调用 。 

















在 这 里 ， 简 单 补充 下 Golang 语 言 中 init 函 数 知 识 ， 它 对 找到 Docker 源 码 的 入 口 函数 很 有 帮助 。init 函 数 用 于 包 (package) 的 初始 化 ,该 函数 是 Golang 语 言 的 一 个 重要 特性 ， 它 具有 如 下 特征 : 





























“ init 画 数 是 用 于 程序 执行 前 做 包 的 初始 化 的 函数 ， 如 初始 化 包 里 的 变量 等 。 
“ 每 个 包 可 以 拥有 多 个 init 函 数 。 
“ 包 的 每 个 源 文件 也 可 以 拥有 多 个 init 函 数 。 
“ 同一 个 包 中 多 个 init 函 数 的 执行 顺序 go 语言 没有 明确 的 定义 说明) 。 
:不同 包 的 init 函 数 按照 包 导 入 的 依赖 关系 决定 该 初始 化 函数 的 执行 顺序 。 
' init 函 数 不 能 被 其 他 函数 调用 ， 而 是 在 main 函 数 执行 之 前 自动 被 调用 。 
2.daemon 目 录 
在 daemon 文 件 夹 下 ， 主 要 的 文件 及 函数 如 下 : 
config.go: Docker 守 护 进 程 启动 参数 。 
“ daemon.go: 守护 进程 。 


* monitor.go: containerMonitor 监 控 容 器 主 进程 的 执行 情况 。 如 果 执 行 restart，containerMonitor 要 确保 主 进程 testart; 如 果 是 stopped， 要 确保 重 设 或 清除 容器 相关 资源 ， 如 释放 分 配 的 网 络 资源 和 umount 容 
器 rootfs 文 件 系统 。 


“container.go: cleanub () 函数 清除 netwotking 和 mounts; toDisk () 函数 dump 容 器 的 状态 到 磁 瘟 。 
3.image 目 录 


在 image.go 文 件 中 限定 镜像 的 最 多 层 数 是 127。 





MaxImageDepth = 127 

















4.api 目 录 








在 server/server.9go 参 数 api 入 口 ， 以 job 的 形式 运行 。 针 对 每 一 种 ob， 对 它 初始 化 ， 设 置 操作 对 象 (如 容器 名 ) 、 参 数 、 环 境 变量 、 标 准 输入 、 标 准 输出 和 错误 输出 。 


获取 参数 方式 : 





image = r.Form.Get ("fromImage") 





设置 job 的 环境 变量 : 





Job 


job.Setenv ("repo"，L.Form.Get ("repo")) 
job.SetenvJson ("metaHeaders", metaHeaders) 


eng.Job("commit", r.Form.Get ("container")) 





func getlmagesSearch () 查询 image 的 函数 。 修 改 代码 ， 支 持 选 择 查询 的 仓库 。 


func createRouter: 

















nGETn : { 
7 png": ping, 
"/events": getEvents, 
/inteo"s getInfo, 
"/version": getVersion, 
"/images/json": getImagesJSON, 
"/images/viz": getImagesViz, 
"/images/search": getImagesSearch, 
"/images/get": getImagesGet, 
"/images/{name: .*}/get": getImagesGet, 
"/images/ {name: .*}/history": getImagesHistory, 
"/images/ {name: .*}/json": getImagesByName, 
"/containers/ps": getContainersJSON, 
"/containers/json": getContainersJSON, 
"/containers/ {name: .*}/export": getContainersExport, 
"/containers/{name: .*}/changes": getContainersChanges, 
"/containers/ {name: .*}/json": getContainersByName, 
"/containers/ {name: .*}/top": getContainersTop, 
"/containers/{name: .*}/1l0ogs": getContainersLogs, 
"/containers/{name:.*}/attach/ws": wsContainersAttach, 
"/exec/{id: .*}/json": getExecByID, 
] 7 
OST 
"/auth": postAuth, 
/commit": postCommit, 
"/puild": postBuild, 
"/images/creat postImagesCreate, 
"/images/1load" postImagesLoad, 
"/images/ {name: .*}/push": postImagesPush, 
"/images/ {name: .*}/tag": postImagesTag, 
"/containers/create": postContainersCreate, 
"/containers/{name: .*}/kill": postContainersKill, 
"/containers/{name:.*}/pause": postContainersPause, 
"/containers/ {name: .*}/unpause": postContainersUnpause, 
"/containers/ {name:.*}/restart": postContainersRestart, 
"/containers/{name: .*}/start": postContainersStart, 
"/containers/ {name: .*}/stop" postContainersStop, 
"/containers/ {name:. i postContainersWait, 
"/containers/ {name:. postContainersResize, 
"/containers/ {name:. postContainersAttach, 
"/containers/ {name:. postContainersCopy, 
"/containers/{name: .*}/exec": postContainerExecCreate, 
"/exec/ {name: .*}/start": postContainerExecStart, 
"/exec/{name: .*}/resize": postContainerExecResize, 
] 
"DELETE": { 
"/containers/{name: .*}": deleteContainers, 
"/images/ {name: .*}": deleteImages, 
Ey 
"OPTIONS": { 


] 


optionsHandler, 





性 能 数据 的 使 

















func AttachProfiler (router *mux.Router) 
router. 
router 


.HandleFunc ("/debug/pprof/", pp: 


HandleFunc ("/debug/vars", expvarHandler) 


rof . Index) 


router.HandleFunc ("/debug/pprof/cmdline", pprof.Cmdline) 
router.HandleFunc ("/debug/pprof/profile", pprof.Profile) 
router.HandleFunc ("/debug/pprof/symbol", pprof.Symbol) 

router.HandleFunc ("/debug/pprof/block", pprof.Handler ("block") .ServeHTTP) 


router. 
router. 
router. 


HandleFunc ("/debug/pprof/heap", pprof.Handler ("heap") .ServeHTTP) 
HandleFunc ("/debug/pprof/goroutine", pprof.Handler ("goroutine") .ServeHTTP) 
HandleFunc ("/debug/pprof/threadcreate", pprof.Handler ("threadcreate") .ServeHTTP) 





变量 
变量 





摘自 daemon/daemon.go，container 起 名 规则 。 





validContainerNameChars = ` [a-zA-20-9] [a-zA-20-9_.-]、 




















新 创建 的 容器 默认 使 用 的 DNS 如 下 : 
DefaultDns = []string{"8.8.8.8", "8.8.4.4"} 








6. 常 用 结构 体 











摘自 daemon/daemon.go。 





type Daemon struct { 





ID string 
repository string 
sysInitPath string 
containers *contStore 
execCommands *execStore 
graph *graph.Graph 
repositories  *graph.TagStore 
idIndex *truncindex.TruncIindex 
sysInfo *sysinfo.SysInfo 
volumes *volumes.Repository 
eng *engine.Engine 
config *Config 
containerGraph *graphdb.Database 
Griver graphdriver .Driver 
execDriver execdriver .Driver 
trustStore *trust.TrustStore 

} 

7. 常 用 的 对 应 关系 





摘自 daemon/daemon.go，daemon 关 键 字 对 应 的 函数 如 下 : 





for name, method := range map[string]engine.Handler{ 














"attach" daemon.ContainerAttach, 
Voommit"s daemon .ContainerCommit, 
"container changes": daemon.ContainerChanges, 
"container copy": daemon.ContainerCopy, 
"container inspect": daemon.ContainerInspect, 
"containers": daemon.Containers, 
"create"; daemon.ContainerCreate, 
daemon .ContainerRm, 
daemon.ContainerExport, 
daemon .CmdInfo, 
daemon.ContainerKill 
daemon.ContainerLogs, 
daemon.ContainerPause, 
daemon.ContainerResize, 
"restart™": daemon.ContainerRestart., 
"etart"s daemon.ContainerStart, 
Dk daemon.ContainerSstop, 
ntop™s daemon.ContainerTop, 
"unpause": daemon .ContainerUnpause, 
ww daemon.ContainerWait, 
"image delete": daemon. ImageDelete, // FIXME: see above 
"execCreate" daemon.ContainerExecCreate, 
"execStart" qaemon .ContainerExecStart， 
"execResize": daemon .ContainerExecResize, 
"execInspect": daemon.ContainerExecInspect, 
} 
8. 其 他 


Docker 守 护 进程 退出 ， 会 给 每 个 容器 发 SIGTERM (15) 


16.2 ”源码 编译 Docker 


下 载 源码 : 


信号 ， 等 待 退出 。 





$ git clone https://git@github.com/docker/docker 








$ cd docker 
$ sudo make 
$ sudo make 


build 
binary 





在 `./bundles/<version>-dev/binary/' 目 


录 下 就 会 生成 Docker 可 执行 的 二 进 制 文件 。 


但 是 不 幸 的 是 ， 按 照 官方 教程 ， 在 "make build 这 一 步 就 会 编译 失败 。 


查 一 下 原 





因 ， 执 行 "make build` 对 应 的 是 Makefile 文 件 中 的 下 





回 





语句 : 











build: bundles 

docker build -t "$ (DOCKER IMAGE)" . 
bundles: 

mkdir bundles 








我 们 知道 ，`docker build. 会 在 当前 目 

















在 Dockerfile 中 ， 可 以 看 到 如 下 内 容 : 


录 下 查找 Dockerfile 文 件 ， 生 成 镜像 。 





RUN curl -sSL https://golang.org/dl/gol.4.src.tar 


gz | tar =v =C /usr/local ~xz 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15950/0EBPS/Text/... 


RUN go get golang.org/x/tools/cmd/cover 








执行 这 些 语句 需要 访问 golang.org 网 站 ， 而 这 个 网 站 在 











解决 办 法 参考 马 全 一 的 “如 何在 “特殊 ”的 网 络 环境 下 编译 Docker 


步骤 如 下 。 


16.2.1 修改 Dockerfile 





国内 是 访问 不 了 的 。Golang 这 个 编程 语言 在 | 





国内 一 直 温 而 不 火 ， 不 知道 是 不 是 和 这 个 原因 

















修改 内 容 如 下 : 把 默认 的 apt 源 由 国外 改 为 国内 。 具 体操 作 在 : 


有 关 。 


(https://docker.cn/p/how-to-build-docker-in-mainland) ， 主 要 思路 是 把 国外 访问 不 了 或 访问 慢 的 站 点 更 改 为 国内 源 。 





FROM ubuntu:14.04 
MAINTAINER Meaglith Ma <genedna@gmail.com> (gene 


dna) 





之 后 添加 如 下 内 容 : 





RUN echo "deb http://mirrors.aliyun.com/ubuntu trusty main universe"> /etc/apt/sources.list && \ 


echo 
echo 
echo 
echo 
echo 
echo 
echo 
echo 
echo 
echo 
echo 


"deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted">> /etc/apt/sources.list && \ 

"deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted">> /etc/apt/sources.list && \ 
"deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted">> /etc/apt/sources.list && \ 
"deb http://mirrors.aliyun.com/ubuntu/ trusty universe">> /etc/apt/sources.list && \ 

"deb-src http://mirrors.aliyun.com/ubuntu/ trusty universe">> /etc/apt/sources.list && \ 

"deb http://mirrors.aliyun.com/ubuntu/ trusty-updates universe">> /etc/apt/sources.list && \ 

"deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates universe">> /etc/apt/sources.list && \ 

"deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted">> /etc/apt/sources.list && \ 
"deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted">> /etc/apt/sources.list && \ 
"deb http://mirrors.aliyun.com/ubuntu/ trusty-security universe">> /etc/apt/sources.list && \ 

"deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security universe">> /etc/apt/sources.list 





修改 vm2 的 获取 源 ， 把 





RUN git clone -b v2 02 103 https://git.fedorahosted.org/git/lvm2.git /usr/local/lvm2 





修改 为 


























RUN git clone --no-checkout https://coding.net/genedna/lvm2.git /usr/local/lvm? && cd /usr/local/lvm?2 && git checkout -q v2 02 103 





修改 Golang 的 获取 源 ， 把 





RUN curl -sSL https://golang.org/d1l/go1l.3.3.src.tar.gz | tar -V -C /usr/local -xz 





修改 为 





RUN curl -sSL https://github.com/golang/go/archive/gol.3.3.tar.gz |tar -v -C /usr/local -xz && mv /usr/local/go-gol.3.3 /usr/local/go 





修改 Golang 的 包 文件 cover 获 取 方 式 ， 把 





RUN go get golang.org/x/tools/cmd/cover 





修改 为 





RUN apt-get install -~y zip unzip \ 

&& mkdir -p /go/src/github.com/gpmgo \ 

&& cd /go/src/github.com/gpmgo \ 

&& CUurl -o gopm.zip http://gopm.io/api/v1l/download?pkgname=github.com/gpmgo/gopm\&revision=dev --location \ 
&& unzip gopm.zip \ 

&& mV $ (ls | grep "gopm-") gopm \ 

&& rm gopm.zip \ 

&& cd gopm \ 

&& go install 

RUN gopm bin -V golang.org/x/tools/cmd/cover 





dockerfile 经 过 上 述 修改 ， 就 可 以 在 "make build 这 一 步 成 功 。 


16.2.2 其 他 


另外 ， 在 执行 ,make binary 之 前 ， 还 需要 修改 hack/make.sh， 把 





else 
echo >&2 'error: .git directory missing and DOCKER GITCOMMIT not specified' 
echo >&2 ' Please either build with the .git directory accessible, or specify the' 
echo >&2 ' exact (--short) commit hash you are building using DOCKER GITCOMMIT for' 
echo >&2 ' future accountability in diagnosing build issues. Thanks!' 
exit 1 
六 二 





中 的 "exit1 这 行 删除 。 
编译 成 功 后， 二 进 制 文件 在 ./bundles/<version>-dev/binary/docker-<version> 下 。 


替换 现 有 Docker 二 进 制 文件 ， 方法 如 下 : 








service docker stop 

cp /usr/bin/docker /usr/bin/docker bak 

cp ./bundles/<version>-dev/binary/docker-<version> /usr/bin/docker 
chmod +x /usr/bin/docker 

service docker start 





16.2.3 ”编译 源码 的 好 处 


当 我 们 可 以 编译 源码 时 ， 就 可 以 自由 修改 Docker， 输 出 定制 的 调试 信息 ， 为 Docker 添 加 新 功能 等 ， 甚 至 回馈 我 们 的 代码 给 开源 社 





M4 








例 1: 在 Docker 中 启动 的 容器 ， 默 认 网 卡 名 为 eth0， 且 源 代码 中 是 写 死 的 ， 没 有 提供 配置 或 参数 来 修改 它 。 而 我 们 这 边 的 使 用 习惯 是 用 eth1 作 为 内 网 ， 如 果 改 为 eth0， 就 会 涉及 大 量 脚本 的 修改 。 

















我 们 的 做 法 是 把 Docker 源 码 中 的 eth0 全 部 蔡 换 为 eth1: 





find ./ -type £f -exec grep ethl {} \; 
find ./ -type f£ -exec sed -i s/eth0/ethl/g {} \; 
find ./ -type f -exec grep ethl {} \; 








中 | 


新 编译 源码 ， 蔡 换 官 方 提供 的 Docker 二 进 制 文件 ， 在 新 启动 的 容器 中 ， 可 以 看 到 ， 默 认 网 卡 名 已 经 变 为 eth1 了 。 











例 2: 为 了 阅读 和 分 析 源 代码 ， 我 们 想 知道 ， 执 行 一 个 Docker 操 作 ， 如 "docker images ， 会 有 哪些 函数 被 调用 ， 调 用 顺序 是 怎样 的 。 下 一 节 ， 我 们 会 详细 讲解 如 何 通 过 修改 源码 ， 让 函数 被 调用 时 输出 
下 函数 名 和 它 的 上 层 调用 者 。 
































16.3 ”输出 函数 调用 关系 


当 执 行 Docker 操 作 时 ， 通 过 runtime.Caller 打 印 出 哪些 函数 被 调用 ， 然 后 再 针对 函数 做 进一步 的 分 析 。 


1) 在 Docker 的 源码 中 添加 [tdebug/getFuncName.go] (./code/getFuncNmae.go) 文件 ， 该 文件 定义 了 GetFuncName () 函数 。 

















2) 使 用 addDebugFunc.sh] (./code/addDebugFunc.sh) 调用 [change.pl] (./code/change.pl) ， 遍 历 Docker 源 码 根 目录 ( 除 utils 目 录 ) 下 所 有 xx.go (不 包含 xx_test.go) ， 在 每 个 函数 中 添加 
GetFuncName () ， 显 示 函 数 的 调用 关系 。 

















法 : 把 addDebugFunc.sh、change.p 人 复制 到 Docker 源 码 根 目 录 下 ， 执 行 








sh addpebugFunc.sh 





然后 按照 上 一 节 介 绍 的 方法 ， 














3) 使 





方法 如 下 





清空 以 前 的 日 志 : 


新 编译 源码 。 





>/var/log/docker 





执行 一 个 Docker 操 作 : 





docker pull busybox:latest 








grep 'frame 1' /var/log/docker 


lgrep image 
























































结果 如 下 : 

debug] getFuncName.go:13 ----frame 1: [func:github.com/docker/docker/image.NewImgJSON, file:/go/src/github.com/docker/docker/image/image.go, line:262] 

debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/image.LoadImage, file:/go/src/github.com/docker/docker/image/image.go,1line:42] 

debug] getFuncName.go:13 ----frame 1: [func:github.com/docker/docker/image.jsonPath, file:/go/src/github.com/docker/docker/image/image.go,1line:127] 

debug] getFuncName.go:13 -frame 1: [func:github.com/docker/docker/image. (*Image) .SetGraph, file:/go/src/github.com/docker/docker/image/image.go,1line:113 

debug] getFuncName.go:13 -frame 1: [func:github.com/docker/docker/image.NewImgJSON, file:/go/src/github.com/docker/docker/image/image.go,1line:262] 

debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/image.NewImgJSON, file:/go/src/github.com/docker/docker/image/image.go, line:262] 

debug] getFuncName.go:13 ----frame 1: [func:github.com/docker/docker/image.NewImgJSON, file:/go/src/github.com/docker/docker/image/image.go,line:262] 

debug] getFuncName.go:13 -frame 1: [func:github.com/docker/docker/image. (*Image) .SetGraph, file:/go/src/github.com/docker/docker/image/image.go,1line:113 

debug] getFuncName.go:13 -frame 1:[func:github.com/docker/docker/image.StoreImage, file:/go/src/github.com/docker/docker/image/image.go,line:76] 

debug] getFuncName.go:13 ----frame 1: [func:github.com/docker/docker/image. (*Image) .SaveSize, file:/go/src/github.com/docker/docker/image/image.go,line:119 

debug] getFuncName.go:13 ----frame 1: [func:github.com/docker/docker/image.jsonPath, file:/go/src/github.com/docker/docker/image/image.go,1line:127] 

debug] getFuncName.go:13 1: [func:github.com/docker/docker/image. (*Image) .SetGraph, file:/go/src/github.com/docker/docker/image/image.go,1line:113 

debug] getFuncName.go:13 1: [func:github.com/docker/docker/image.StoreImage, file:/go/src/github.com/docker/docker/image/image.go,line:76] 

debug] getFuncName.go:13 1: [func:github.com/docker/docker/image. (*Image) .SaveSize, file:/go/src/github.com/docker/docker/image/image.go,line:119 

debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/image.jsonPath, file:/go/src/github.com/docker/docker/image/image.go, line:127] 

debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/image. (*Image) .SetGraph, file:/go/src/github.com/docker/docker/image/image.go, line:113 

debug] getFuncName.go:13 -frame 1: [func:github.com/docker/docker/image.StoreImage, file:/go/src/github.com/docker/docker/image/image.go,line:76] 

debug] getFuncName.go:13 -frame 1: [func:github.com/docker/docker/image. (*Image) .SaveSize file:/go/src/github.com/docker/docker/image/image.go,line:119 

debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/image.jsonPath, file:/go/src/github.com/docker/docker/image/image.go, line:127] 

debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/image.LoadImage, file:/go/src/github.com/docker/docker/image/image.go,1line:42] 

debug] getFuncName.go:13 -frame 1: [func:github.com/docker/docker/image.jsonPath, file:/go/src/github.com/docker/docker/image/image.go,1line:127] 

debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/image. (*Image) .SetGraph, file:/go/src/github.com/docker/docker/image/image.go, line:113 
grep -v "frame 1' /var/log/docker |grep -v 'getFuncName.go:9 GetFuncName'|grep -v muxlsed /^$/d |wc -1 
debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/daemon/networkdriver.GetIfaceAgddr, file:/go/src/github.com/docker/docker/daemon/networkd 
river/utils.go,1line:88] 

debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/daemon/networkdriver/bridge.setupIPTables, file:/go/src/github.com/docker/docker/daemon/ 
networkdriver/bridge/driver.go,line:191] 

debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/pkg/iptables.Exists,file:/go/src/github.com/docker/docker/pkg/iptables/iptables.go,line 
:153] 

debug] getFuncName.go:13 ----frame 1:[func:github.com/docker/docker/pkg/iptables.Raw, file:/go/src/github.com/docker/docker/pkg/iptables/iptables.go,line:17 

] 

debug] getFuncName.go:13 ----frame 1: [func:github.com/docker/docker/daemon/networkdriver/portmapper.SetIptablesChain, file:/go/src/github.com/docker/docker/daemon/networkdriver 
DefaultNetworkBridge = "docker0" 

docker client 也 可 以 使 用 -D 来 输出 debug 日 志 。 这 些 信息 ， 对 我 们 梳理 Docker 的 源码 结构 和 调用 关系 非常 有 帮助 。 

















16.4 本章 小 结 


作为 本 书 的 最 后 一 章 ， 我 们 介绍 了 Docker 的 源码 结构 和 如 何 修改 与 编译 Docker， 为 用 户 更 深入 学 习 研究 Docker 提 供 了 一 种 新 思路 。 


